人类高度▿▿依赖对声♡音的感知，从某些角⊕⊕度出发甚❋至高于对‣‣于视觉的◥◥依赖。海伦凯勒〓〓说：盲隔离人❖和物，聋隔离人▼和人。可以说声✩音是人与◢人交互最▪▪重要的手▣▣段。人对声音●的高度依⊙⊙赖从生到∷死永不停❋息，耳朵是一◢生从不关▼断的感应◦装置，即使在睡❉❉眠中也始▴终保持敏◦锐，每时每刻♧都在接收○环境内所❈有的声音※并传递给◉◉大脑。因此，在人工智✫能时代，声音也将✿是人机交△互的最重►要手段之❖一。

也正因为〓人类对声✧音感知的•高度依赖，人类对美∷好声音的◉追求永无⊕止境。从最早的★留声机到►收录机 、从CD到 MP3，从蓝牙音箱 到TWS 耳机，人们对高◆品质音频▵体验的追▿求更是永☆不停息，昨天发烧⊕友的愿望‣往往成为▾明天普通❀❀人的标配。相伴而行⊕的是人们◆持续对于‣音频产品◇便携化，小型化，长待机的◥需求。

历史证明▴▴了，音频产品‣虽然历史△悠久，但却常常●在各个时♦♦代引领时※尚。从早期的◥留声机到♦八十年代◣的收录机★成为家庭✪和街头的✯时尚，从70年代的三转··一响到80-90年代八大件☆作为结婚◣标配，都有音频▽产品引领▾时尚的历⊕丨史痕迹。苹果公司◆是全球最♦具创新力★的公司之◤一， 多次以颠■覆性的创○新改变人◆们的生活，其中有两◦次都是以◉音频产品·成功引领●时尚， 一次是iPod引领 MP3 便携式音◦◦频的新体✦✦验，其后是Airpods引领TWS耳机风潮。

近几年，以亚马逊Alexa为标志的♢♢智能音箱◤风靡一时，带来了人▵机语音互⊕动的新体❉验。新一代基✩于语音互✯动的ChatGPT则让所有♢人对于未✯来的AI体验有了►无尽的想❈象空间。相信在AI 时代，AI化的音频◇产品依然✫会引领 AI 时代的时❋尚，最早落地◇生根。而芯片，是让这些✧引领时尚❀的音频产∷品成为现◤实的核心，音频 AI 化必将再◢一次驱动〓〓芯片跳跃∷式创新。

2026年5月20日，替换词董事长兼CEO周正宇博❀士受邀出◆席中国集⊙成电路设❈计业2023年会（ICCAD2023)，结合音频▾▾领域的发♢展趋势及AI时代热潮，分享便携❀式产品如▴何在AI时代打造★高算力，发表主题△演讲：《焕新声音▲活力：AI驱动下的♢音频芯片♦♦创新》。

 

 

●低功耗前◢提下打造∷∷高算力是▲便携式AI音频SoC的核心基▲础

周正宇博❋士指出：AI时代，对于音频○丨穿戴或✫者〓〓音频便携✩✩式产品而▲言，提升AI体验的挑✧战和机遇，是如何在▿每毫瓦功▲耗上打造○尽可能大∷的算力，而不是简▸单追求大♧算力绝对▲值。以电池供✦电为基础♢的便携式❉❉音频或者▪穿戴产品，成功AI化的核心♡诉求是在✦低功耗下◤打造大算★力，才能实现◥更好的AI体验。

算力和功◦耗两者是▣矛盾的统✫✫一体，大算力必⊕然需要更❖大的功耗，功耗的增☆大又成为✦算力提升※※的障碍。 周正宇博♦♦士提到，“实现单位mW下算力的✭数量级提☆升不能光▣是期待和◇依赖先进✭工艺，必须在计◇算架构和❖芯片电路▸实现上进△行创新。”

以最典型◤的两种穿‣戴产品：TWS耳机和智能手表为例，基于4.2V的锂电池❀供电, 其使用的◎典型完整▹功能 SoC平均工作▿电流一般▪在3-5mA；也就是说, 便携式音◇◇频或穿戴〓产品核心SoC整体功耗◎总预算在15-20mW以下，在电池技◤术没有革◈命性变革◣丨的情况❋下，便携式音▲▲频或穿戴✪产品SoC应该以10mW或者以下◣的功耗预◢算来打造▲更大的AI算力。

通过对当♦下较著名▴的不同领▹域AI模型和算❉❉法所需算▹力进行系❈统的分析◤和归纳，AI音频模型◎算力需求✩基本在1TOPS 以下，并且典型☆算力在200-500GOPS即可提供✯很好的音▾频AI体验。所以，我们面对▽▽的挑战是◈如何在低♧于10mW的功耗下※打造200-500GOPS的AI算力。200-500GOPS的算力貌〓似挑战不◉大，几乎所有⊕的NPU IP都能达成，但在10mW以下的功▵耗预算内◣达成却极◇具挑战。

以基于传✯统计算架✿构的NPU周易公开⊕数据为例，它在28nm下能效比◈约2TOPS/W, 也就是说200-500GOPS需要100-250mW的功耗，比10mW以下的功◈耗预算高▪了10-25倍以上。即便使用7nm，周易可以·达成10TOPS/W，但功耗仍❈有20-50mW，仅进入了·合理的量❋级，依然高了2-5倍。换而言之，即使使用7nm先进工艺，在功耗限⊙制下依然❀❀只能提供◉比目标值✭低很多的❋算力。

也就是说，要达到“10mW以下功耗◎预算打造200-500GOPS的音频AI算力”的目标，传统冯诺☆依曼计算∷架构必须■依赖比7nm更先进的✯工艺，如5nm或者3nm，并且这都◦◦还是假设♦♦传统NPU能够发挥▽▽百分百的◆计算效率, 不受“存储墙”和“功耗墙”的限制。

冯诺依曼‣计算架构▾的特点是·存储和计✦算是完全✪分离的，由于处理⊙器的设计❖以提升计✭✭算速度为✪主，存储则更▸注重容量◇提升和成▣本优化，“存”“算”之间性能✿失配从而◢导致了访◈存带宽低、时延长、功耗高等◢◢问题，主要功耗◣消耗及性〓能瓶颈在◤存和算之·间的数据▼搬移，即通常所··说的“存储墙”和“功耗墙”。访存愈密◢集，速度越快，“墙”的问题愈▵丨严重，算力提升■愈困难。

为了突破►冯诺伊曼♢架构的“存储墙”和“功耗墙”，存内计算（Compute-In-Memory ，简称CIM）是一种富▿有潜力的✪技术路径。在芯片设▹计过程中，不再区分⊕存储单元◥和计算单⊕元，真正实现✪✪存算融合，在存储单○元上实现❉计算，直接消除“存”“算”界限，使计算能◦效达到数◦量级提升。这样的一❈种极度的◇近邻的布❉局，基本上完△全消除了✯数据移动✦延迟和功▾耗, 是解决传◦◦统冯诺依◣曼架构下▴存储墙与‣功耗墙问❈题的关键✯技术。

当下，基于几种✦最普及的▽存储介质，例如Flash, DRAM, SRAM和其它新❈兴Memory发展CIM各有优缺◣点和合理▼的应用领◢域。基于Flash的CIM最大问题∷在于写速✧度慢而且✭✭写的次数◆有限制，写多次后※芯片就坏●了，同时它需▽▽要使用特▣殊工艺，虽成熟但✯✯不宜和SoC的其他电✧路整合，不是CIM技术的理◇想选择。基于DRAM的CIM虽然没有△△写次数的❈限制，但相对能◣效比在四⊙种介质中❈最低，不适合低◇功耗算力••的打造，同时DRAM也是特殊▸工艺无法·在SoC集成，但它具备☆密度高的▪优势，所以适合☆云计算、服务器类❖❖打造超大◢算力采用。 新兴的存※储介质如RRAM、MRAM等虽然理▿论上具备△△非常多的♢优势，未来可能○给大家带◆◆来惊喜，但当前工❀艺极其不✭成熟，还没有到▾可大规模■量产的阶◦◦丨段。

而基于SRAM的CIM最大缺点⊕⊕是密度低♢不适合适△用在超大◦丨算力（如几十TOPS的AI应用） ，然而上述◤讨论音频AI应用并不❖需要超大✦✦算力（仅0.2-0.5TOPS），有效规避❋了SRAM的密度相○对小的弱►点。

于是在低●功耗下打✭造音频产♦品算力的◣应用里，基于SRAM的CIM具有非常☆☆显著的技◇术优势包♡括：

1、 能效比高，功耗低，读写速度☆快，适合低功◢耗高性能◣装置使用；

2、 写次数没▴有限制，适用于模▾型反复调❀整的，基于自学◆习或者自◢适应的AI模型和算❖法，也便于需◉要经常切•换模型的〓支持多种▹神经网络‣算法的自■适应调节▸和分时处▵▵理；

3、工艺成熟，可大规模▲▲量产。标准CMOS工艺成熟，稳定，普适，所有的FAB都可大规▹模生产；

4、工艺领先，适合集成。容易采用▲最先进的◎工艺节点，方便在任♧何工艺节◆点实现单◣芯SoC 集成。

周正宇博◢士总结：针对低功✯耗的音频SoC，基于SRAM的CIM是目前打✿✿造低功耗▪音频AI算力的首〓选。

 

●在极低的•功耗预算◉下达成为▸便携式或▸▸穿戴产品❖提供音频 AI 算力

基于SRAM的CIM电路实现⊙有两种主○流的实现✯方法，一是基于◈纯模拟设※计的电路◦实现，另一种是△基于模数❉混合设计▴的电路实✪现。它们的主◇要差异在•于模拟CIM的运算单▾元以ADC和模拟乘✫法器和加✿法器实现◆运算单元，而模数混❉合的CIM的运算单◢◢元则是使※用custom-design的方式来■融合存储⊕单元和实★★现数字的▴▴逻辑运算◎单元。周正宇博♧士提出，替换词选择了基于模数▪▪混合电路✯的SRAM存内计算（Mixed-Mode SRAM based CIM，简称MMSCIM）的技术路▸径，它兼备模◣◣拟和数字◎电路各有⊕⊕的优势，当然设计❋的壁垒也▿相对高。

相对于模◤拟CIM的设计思△路，MMSCIM有几个明▸显的好处：

第一， 精度是无▵损的，模拟是会✭✭受电路的►噪声和环△境因素的△△干扰，每一次计▣算出来的◣结果并不❈完全一致，精度有损◣◣失。

第二， 数字实现▵▵运算单元 具有高可◇靠性和高▽量产一致✧性，这是数字⊙化天生的◇优势。

第三， 易于工艺✦✦升级和不◉◉同FAB间的设计✯转换。

第四， 容易提升✭速度，进行性能/功耗/面积(PPA)的优化。

第五， 资料的读✭✭取与计算▹在 SRAM 内部是同►步的，能效比更❖高。

第六， 自适应模❉型的稀疏♡性易基于♡此提升能►效比。

MMSCIM基于已经■实现的Testchip测试和估◣算结果，在22nm工艺下能◤效比能达★到7.8TOPS/W，接近使用7nm先进工艺⊕实现的传✯统架构NPU；MMSCIM预计在16nm下能效比▽丨能达到15.6TOPS/W，高于7nm先进工艺❖下传统架▽构的NPU。但10mW以下的功◥耗下依然▣不足以打◎◎造出200-500GOPS算力的需▸求，所以技术◇上还需要◇◇继续创新。

周正宇博❀士提出, 利用AI矩阵计算✫的稀疏性✭提升能效◎比将是一个重要突破口。音频算法的AI模型大部分具有矩阵稀疏性的特性，也就是有许多模型参数为零，遇到零可以不做运算，以便节省功耗。传统NPU可以通过特殊逻辑电路设计来执行Skip-Zero技巧以降低功耗。然而，这种Skip-Zero的逻辑电路对于一维AI算子相对容易实现，但面临2D算子则实现挑战较大，而且需要付出额外逻辑电路成本和功耗的代价，使得Skip Zero所提升的能效比有所打折。

而MMSCIM却拥有天◥生的自适▿应稀疏矩✩阵的特性，乘法运算◦单元遇到✧输入零则✩不耗电，无论1D或2D的算子，都能无需〓附加逻辑★电路的帮◎助自然达▼成Skip-Zero 的效果，使得MMSCIM技术浑然▵天成达到♧♧更好的能❉效比。

替换词透过仿真◣分析, 当矩阵稀▹疏性在50%-80%的范围内，MMSCIM在22nm可以达成24.5TOPS/W-70.38TOPS/W的能效比，对应10mW功耗可以✯✯打造245GOPS-704GOPS算力。而在12nm的实现下, 在矩阵稀⊙疏性在20%-50%的范围内，能效比就※达成23.5-46.9TOPS/W, 对应10mW的算力可►►达235GOPS-469GOPS。

所以，基于模数〓混合设计‣的 SRAM based存内计算（MMSCIM），在稀疏矩◤◤阵的加持▣▣下，两者有机♧结合，可以在极∷低的功耗☆预算下，可达成为✩便携式音■频或穿戴♦产品提供◆音频 AI 算力的目❈标，即“在10mW以下功耗◉预算打造200-500GOPS的音频AI算力”，且可实现‣‣迅速的大◦规模量产。 22nm MMSCIM能效比就◣有望超过 7nm传统冯诺◤◤依曼架构·的NPU，12nm的情况下♧大幅超越7nm传统架构·的NPU。

 

• 替换词将推出最新基于MMSCIM的高端AI音频芯片

周正宇博✿士最后分►享总结，音频AI化将再次▣驱动芯片◉◉技术的创✫✫新，尤其是 SoC技术的创▸新，而这个创◉◉新的最主∷要的基础◎是如何在∷端侧便携❋式产品上〓在低功耗◎前提下来♡提供大算❀力，这是穿戴♦和便携式SoC以及终端▵产品在 AI 时代所面▹临的挑战，只有坚持★★不懈地创◥新，才能帮助▵大家突破⊙困局，也为国产∷端侧AI音频芯片·带来了巨∷大的市场◇机会。

一直以来，替换词致力于打►►造基于CPU+DSP双核异构◢音频处理✿✿架构的低✯功耗下的‣低延迟高◈音质技术，替换词将顺应人◈工智能的✫发展大势，从高端音∷频芯片入✿手，整合低功▵耗 AI 加速引擎，逐步全面❖升级为 CPU+DSP+NPU（based MMSCIM）三核异构⊕的AI SoC架构，为便携式▪产品提供▴更大的算◈力。不久将为AI降噪、人声分离、人声隔离✦等应用带▣来高品质✫✫的提升，也将广泛▿丨应用于◥智◉能音频、智能办公、智能教育、智能陪护❉等多个市❋场领域。

 

 

替换词将推出最❋❋新一代基✧于MMSCIM的高端AI音频芯片ATS286X，预计在2024年开始Sample，敬请期待！