XMOS XCORE：以多核实时处理架构支持大规模麦克风阵列技术创造全新三维声场记录体验

作者：XMOS半导体

随着菁彩声、杜比全景声、VR/AR沉浸式内容、超高清产业的高速发展，空间音频已经成为影视与声音设计、专业音乐录制、VR/AR沉浸式内容创作、现场演出与广播、沉浸式文旅项目等场景的核心刚需。高阶Ambisonics（HOA）技术可以完整捕获三维声场，通过将更大规模的麦克风阵列与多核实时处理架构结合开发出创新HOA麦克风，可以将过去需要专业拾音设备和团队调教的高质量录制过程，简化为集成化大规模麦克风阵列现场录制，并可以在广泛的场景中便捷地使用。

XMOS推出的XCORE边缘智能处理器采用了具有高确定性和高实时性的并行处理架构，同时该芯片将DSP、AI、MCU和可编程I/O集成在一颗芯片上，因而一直被音频行业用来支持各种多麦克风阵列应用，例如支持双麦、四麦阵列完美地完成语音拾取、声源定位、环境噪声消除和波束成形等应用，被全球领先厂商广泛应用于满足语音交互、会议拾音这类场景需求。

面向影视、VR、现场演出这类专业沉浸式音频场景，四麦克风阵列收录的多维度声音信息显然不够丰富。想要完整捕获声源高度、距离以及现场环境混响，就必须采用规模更大的麦克风阵列，中广电数智（北京）影视科技有限公司（以下简称：中广电数智公司）基于XMOS XCORE处理器，打造了“数智维声 ^®^ ”MH32U球形高阶Ambisonics麦克风，为各类高质量三维声场应用提供了便捷化的、高性价比的32通道专业音频采集方案。

中广电数智公司产品事业部研发负责人徐子凡介绍到：“传统拾音设备大多只做声音电平拾取，很难完整记录声源方位、距离、空间混响信息，后期制作时需要人工重构空间感，制作效率低，真实声场还原度有限。在复杂现场环境下，多通道同步、低延迟处理存在难度，现场演出、大空间录制场景，设备多通道时钟不同步会直接破坏空间音频效果；同时环境噪声、回声、混响干扰，传统设备很难兼顾远距离拾音与空间信息保留。”

高阶三维声场带来的工程挑战与应对方案

当收音通道阵列扩大至32路之后，工程挑战也随之成倍放大：多麦克风采样相位误差需要控制在100ns以内，同时要完成几十路通道的增益均衡、高带宽音频实时输出。传统MCU与通用DSP依靠RTOS软件调度，会产生不可消除的任务抖动，很难兼顾严格同步；同时传统方案软硬件深度绑定，产品量产之后音频算法迭代升级困难，制约了麦克风阵列在其产品生命周期中通过软件工具产生更多的价值。

针对大规模多麦克风阵列的痛点，XMOS XCORE采用硬件事件驱动的多核无操作系统架构，实现纳秒级确定性响应，多个内核完全并行独立处理任务，不存在软件调度抢占带来的时延抖动，为从小型语音阵列到32通道专业球形麦克风提供统一的硬件底座。平台具备四大核心能力，每一项都对应实际工程收益：

1. 硬件级时序与同步管控：依靠硬件时间戳统一全部麦克风采样基准，并行处理多路PDM音频流，从底层抑制采样漂移，把相位误差控制在规格范围之内，避免声场错位失真；
2. 固件层多通道音频均衡处理：独立调节每一路通道增益，自动抹平MEMS音头灵敏度离散差异，输出音量高度一致的原始音频，减少后期软件修正工作量，保障批量产品一致性；
3. 片内集成高速外设：原生集成USB2.0、PDM、I2S控制器，无需外挂USB桥接芯片，减少外围器件引入的信号抖动，稳定输出高带宽多路音频数据流，简化整机BOM设计；
4. 硬件可编程，平台可跨规模复用：硬件I/O与处理逻辑支持软件重定义，产品上市后仍然可以通过固件持续优化音频算法；同一套硬件与工具链，既适配双麦、四麦中小规模阵列，也可以支撑32通道高阶专业设备。

MH32U实现了多种创新

“数智维声 ^®^ ”MH32U是一款基于高阶Ambisonics技术的专业级32音头球形阵列麦克风。该产品创新性地将传统多支话筒的复杂拾音系统集成于单支设备，能够360°×360°全空间、高精度捕获声音的方位、高度、距离及空间氛围信息。该产品也是XMOS XCORE在专业高阶三维声赛道的成功应用，已在影视与声音设计、专业音乐录制、VR/AR沉浸式内容创作、现场演出与广播、沉浸式文旅项目等场景中得到应用。

在MH32U产品定义和研发阶段，中广电数智公司的研发团队广泛评估多款处理器平台后发现，传统方案很难同时满足32路严格同步、通道均衡、高速USB输出、固件可迭代的综合要求，同时多芯片系统也带来了空间、功耗和散热等物理制约因素，再加上XCORE已在多麦克风阵列以及音频解决方案等领域有丰富的资源和经验，因而最终选定XMOS XCORE作为整机系统的核心处理单元。

中广电数智公司产品事业部负责人徐立表示：“在专业空间音频赛道，我们是国产三维声硬件与算法一体化解决方案提供商，很高兴与XMOS达成合作，依托XCORE的架构优势和产品特性与算力，结合我们的空间声学算法、阵列硬件设计到产品落地的全链条自研能力，与广电、文旅、演出行业实际工程场景和应用经验，不只是输出标准化硬件，还能提供场景化调试、定制化算法迭代服务。”

在MH32U设备内部，XCORE承担着信号预处理的核心工作：多个内核并行处理全部32路PDM音频流，依靠硬件时间戳完成采样时序对齐，满足小于100ns相位误差指标；固件层对每一路麦克风做独立增益调节，补偿器件灵敏度差异，输出均衡的原始A-Format音频信号；再通过片内硬件USB 2.0稳定输出32-channel/24bit /48kHz音频数据流至DAW工作站。这套方案替代了传统多话筒组合搭建模式，大幅降低现场外拍的布线与调试复杂度。

完整工作链路中，经过XCORE时序校准、音量均衡后的原始音频流输入工作站，由上位机VST编码插件生成标准4阶HOA B-Format信号，后期可灵活解码为5.1.4、7.1.4、双耳binaural等各类三维声输出格式。整机达到30Hz-20kHz频响、104dB动态范围；结合出厂声学校准以及XCORE稳定的同步与均衡能力，保障大批量设备性能统一，有效降低音频后期制作的调试成本。

XCORE让音频系统开发成为价值创造过程

从双麦、四麦消费级语音阵列，到MH32U 32通道高阶Ambisonics专业采集设备，XMOS XCORE重新定义了多麦克风音频产品的开发路径。它将时序同步、通道音量均衡、高速数据流传输、固件可迭代这些高难度底层工程问题下沉到芯片-固件层面。音频厂商不再需要消耗大量研发资源攻坚底层调试难题，可以把重心集中在声学结构、上层音频算法以及整机产品化上，缩短产品研发周期。

例如在消费与开发者音频生态中，Seeed Studio的ReSpeaker系列是XMOS XCORE颇具代表性的多麦克风落地实践。该系列从双麦迭代到成熟的四麦阵列，依托XCORE硬件并行处理能力，完成多路麦克风的时钟同步、通道音量均衡，在此基础上实现波束成形、声源定位、回声消除、远场拾音等语音算法。在专业音频领域，中广电数智公司聚焦三维声技术和产品的研发与应用，面向多个行业和广泛的应用场景，提供从空间音频采集、算法处理到硬件终端、内容生产工具的完整技术方案与硬件产品。

XMOS亚太区市场营销负责人牟涛表示：“XMOS很高兴能与中广电数智公司合作开发MH32U这样的高通道数麦克风阵列产品，该公司是高新视频-沉浸式视频白皮书、标准体系和沉浸式视频通用技术规范的起草单位、广播电视与网络视听中长期科技计划中三维声拾音设备相关课题的研发攻关和标准制定单位，在场景与设备的技术参数与定义方面具有深厚积淀和丰富经验；我们XCORE的高实时性并行计算架构支持该公司打通了三维声采集端-制作端-播放端的技术链路，可助力其客户快速完成三维声内容生产，降低沉浸式音频项目落地门槛，将过去依赖设备体积大的外接PC主机，并因布线复杂而使现场部署调试成本高的模式，进化成可用于外拍、移动录制场景的便携设备。”~~

由于XCORE具有硬件I/O可编程的特性，也支持产品上市后持续通过固件迭代优化音频效果。该系列被大量应用于语音原型开发、会议拾音、AI语音实验，充分验证了XCORE在中小规模麦克风阵列场景下稳定可靠的工程能力，也体现出平台向下适配消费级语音硬件、向上支撑专业大规模空间音频设备的强大伸缩性。

在智能音频和沉浸式音频快速发展的大背景下，XMOS XCORE提供一套可扩展性极强的实时并行处理硬件平台和多样化的音频解决方案，覆盖从消费性音频、边缘AI人机交互、会议设备到高阶专业录音装备，不仅支持开发者去实现更好的音频收录功能和用户体验，而且让复杂的三维声硬件实现了多项技术突破与量产落地，从而让新一代音频系统产品走进更多的应用场景。