记住什么，忘掉什么：从脑信号到 AI 系统的真实收益

机器人为什么要学会忘记

想象一只机械臂，正在把一个圆环套到杆上。摄像头连续送来画面。前一帧和后一帧，背景几乎一样，机械臂只是往前挪了一点。如果每收到一帧，视觉系统就把内部积累全部清空，再从头计算，显然有点浪费。但如果一直保留旧状态，圆环突然滑动的时候，它又可能带着过时的判断继续动作。

这不是简单地把网络做大就能解决的问题。它需要知道，什么时候历史仍然有用，什么时候应该赶紧忘掉。

大家好，我是 Zach，欢迎收听 System Boundary，系统边界。本期用我的授权 AI 克隆声音，聊九月二十八日到十月四日这一周的 NeuroAI 研究。我们先从这个机器人的小问题出发，再走到脑电传感器、真实大脑的时间记忆，以及芯片上的能耗。

这几条线，和我们一直关注的持续学习、稀疏控制、多尺度脑观测平台有关。不过，今天先不画一个越来越复杂的大脑架构图。我们跟着实验走，看看哪些结果已经能改变实现方法，哪些还只是值得测试的想法。

开头这个场景，对应京都大学和名古屋大学团队发表在 Scientific Reports 的一项工作。作者做的是行为克隆。这里的克隆不是复制一颗大脑，而是给机器人看操作示范，让模型学习从观察到动作的映射。输入可以是摄像头画面和机器人状态，输出是下一步关节应该怎么动。

他们先有一个普通神经网络，再把其中的视觉编码器转换成脉冲神经网络，也就是 SNN。后面的长短期记忆网络和全连接层仍然保留。因此，它是一个混合系统，不能把整台机器人的表现都归功于脉冲网络。

脉冲神经元可以先用一个带阈值的累加器来理解。输入不断加进内部状态，超过阈值，就发出一次脉冲。这个内部状态借用了生物学里膜电位的名字。神经网络转换的一种常见方式，是让一段时间里脉冲出现的频率，近似原来网络的连续数值。

麻烦也在这里。一个数值，普通网络算一次就拿到了；换成计数，得积累足够多次事件，结果才稳定。于是，相机的一帧之内，脉冲网络还要跑多个内部时间步。这里的时间步是计算迭代，不是摄像头又拍了一张新照片。

每一帧都清空，就要重新积累。一直不清空，又可能把上一帧的误差带过来。作者在帧边界加了一个自适应遗忘机制：相邻画面变化小，就少泄漏一点，保留更多状态；变化大，就增加泄漏，让新输入更快接管。同时，方法中还包含辅助的发放率估计，帮助短时间窗里的输出接近原网络。所以，最终收益属于这套完整方法，不能只看成把一个复位开关换成了旋钮。

这个设计的吸引力在于，它把很多计算单元的状态更新，交给一个相对便宜的变化信号来调节。做芯片的人会很熟悉这种分工：数据通路承担大量计算，控制通路决定什么时候继续、什么时候清空、什么时候跳过。但这里有没有省到电，必须看实际测试。

平均省电之后，还要看失败的任务

这项研究用了四种机器人仿真操控任务，以及一个真实机械臂任务。相对于每帧总是复位的脉冲网络，最好的任务把内部时间步从八步减到一步，减少百分之八十七点五。论文还报告，整条混合策略每完成一个任务回合，实测能耗平均减少百分之二十二点六。

听到这里，很容易以为，脉冲网络已经全面超过普通网络了。实际表格给出的画面更有意思。

在真实机器人的测试里，总是复位的版本，单帧推理大约需要一百八十五毫秒。自适应版本降到一百一十二毫秒左右，改善很明显。但原来的普通网络大约二十七毫秒，依然更快。完成整段任务，自适应版本也比总是复位快，却仍然慢于普通网络。

还有一个更值得留下的细节：平均值并不意味着每个任务都受益。在处理布料的仿真任务里，自适应版本需要的时间步更多，延迟和能耗反而上升。画面变化如果很大，而且变化幅度分布很散，上一帧留下的状态就未必是便宜的先验，它也可能是需要清除的负担。

这让实验的价值更具体了。作者找到了一个可以利用时间连续性的办法，也给出了它什么时候失效。对一个工程团队来说，这比一句普遍节能的口号更有用，因为我们可以据此决定在哪些工作负载上测试。

例如，一个始终观察稳定场景的边缘视觉系统，可能适合复用历史；一个镜头经常剧烈转动、光照频繁变化的系统，就需要更谨慎。这里说的是待验证的迁移设想，论文并没有替这些产品场景做完实验。

它也帮助我们重新理解之前讨论过的预测误差比较器。画面变化和预测误差，并不是同一件事。

假设相机以固定速度平移。相邻帧变化可能很大，但这个变化完全可以被运动模型预测。反过来，画面里只有一个很小的零件突然脱落，整体像素差可能不大，却是任务上极其重要的意外。前者是变化很大但不意外，后者是变化很小却出乎预料。

因此，直接把帧差叫作预测误差，会掩盖两种控制信号的区别。这周的证据支持的是：便宜的输入变化检测，可以帮助管理内部状态。它还没有证明一个完整的预测世界模型已经出现。

如果我们要做自己的原型，我会先把几个版本放在一起。一个始终清空，一个始终保留，一个固定遗忘率，一个根据输入变化来调节，再加一个真正根据预测残差调节的版本。模型大小和训练数据保持一致。比较时同时看任务成功率、突变后的恢复时间，以及从传感器输入到动作输出的总延迟。

还有一个容易遗漏的指标：误判为突变的次数。如果控制器过于敏感，噪声一来就清空，模型始终没机会形成稳定记忆。如果过于迟钝，它又会把旧状态拖得太久。状态管理本身，也有一个速度与稳定性的取舍。

对于在线脑信号解码，这个问题同样存在。电极接触变差、头部运动、受试者换了策略，都可能让输入统计发生变化。但一个运动伪迹，不应该被直接解释成认知状态变化。控制器可能需要先判断信号质量，再决定是暂时降低置信度、局部复位，还是重新校准。

我们暂时把这个判断记下来：值得从这篇论文带走的，是一个可以测量、可以消融的状态管理方法。是否需要脉冲硬件，是否值得部署，要等整个系统的账算完。

换一顶脑电帽，为什么模型就不认识了

接下来，把摄像头换成脑电帽。

脑电，也就是 EEG，是从头皮上的电极记录电压随时间的变化。它的时间分辨率很好，但每个电极接收到的，是多个来源经过组织传播后叠加的信号。电极的位置、数量、参考方式和接触条件，都会影响最终读数。

现在有不少脑电基础模型，想像语言模型一样，先从大量数据中学到通用表示，再适配不同任务。但现实里，一家实验室用六十四个电极，另一台设备只有八个，位置还不完全相同。输入维度变了，测量内容也变了。

这周 Rutgers 团队的一篇预印本，提出了 CortexBridge。可以把这个名字理解为，从头皮电极到皮层表示之间的一座桥。

它没有一上来重新训练一个大模型，而是在既有模型前面放一个小适配器。适配器同时看信号特征、电极坐标，以及脑区图谱里的区域坐标。脑区图谱，可以理解为一套约定好的解剖分区。系统学习把不同电极的信号，按不同权重路由到这些区域对应的潜在表示。

这里有一个非常重要的限定。这些潜在表示借用了脑区的索引和几何关系，但它们不等于已经恢复出的真实脑区电流。头皮信号到脑内来源，是一个有物理约束、也存在不确定性的逆问题。不能因为模型输出放在一张脑图上，就把它当成准确的神经源定位。

从实现上看，这个适配器做了稀疏路由，再处理不同空间尺度上的区域交互，最后通过残差分支，接到冻结的基础模型上。残差分支的好处，是可以从接近原有输入接口的状态开始训练，逐步学会增加有用信息。

作者测试了三个基础模型、五个公开数据集。任务包括想象手部动作、对特定刺激的脑电反应，以及观看周期闪烁目标时产生的视觉响应。测试对象与训练、验证对象分开，因此能检查在同一数据集里换人之后的表现。

十五个模型与数据集组合中，十三个有改善。三个骨干模型的平均提升，分别大约是零点八、零点七和三点三个百分点。最大的提升超过十三个百分点，出现在一个八通道、十二分类的视觉刺激任务上。适配器增加的可训练参数约十万。

这些数字说明，一个相对小的接口模块，确实可能释放已有大模型的能力。但最大的那个提升不能代表每个任务。并且，这里有监督适配训练，不能直接说，拿来一台从未见过的设备，不做校准就一定能用。

如果从我们熟悉的信号链看，它很像把传感器标定信息，从实验记录的附件，移进模型本身。过去可能只是把通道补齐到固定数量，现在让模型明确知道，每一路信号从哪里来，它与其他测量位置是什么关系。

这种做法为什么值得关注？因为数据量再大，也不能保证模型自动分清“这个人脑活动不同”和“这次电极位置不同”。如果测量几何始终没有被表示出来，模型就可能用更大的容量去记住设备差异，而不是学习我们关心的脑活动规律。

接口接上了，信息真的保住了吗

另一篇同周预印本，恰好为这种乐观加了一个很有用的检查。

马克斯·普朗克研究所、柏林工业大学等团队，研究四种脑电基础模型，在电极布局变化后究竟稳不稳定。他们用了静息脑电和运动想象数据：前者包括一百名参与者的子集，后者包括五十二名参与者。再逐步减少输入电极，例如从一百二十八通道降到六十四、三十二通道。

作者把稳定性分成两个问题。一个是，模型算出的内部表示有没有变。另一个是，原来的任务读出器，换了电极布局以后，还能不能正确分类。

这两个问题看起来应该一致，结果却不总是如此。有的模型，内部向量的相似度下降得比较明显，但分类表现相对稳定；有的表示看起来变化不大，下游任务却受到影响。

一个直观的理解是，向量里并不是每个方向都同样重要。假设一个分类器主要依赖其中某个方向，其他方向变动很大，也可能不妨碍分类。相反，总体变化看起来很小，却恰好破坏了分类边界附近的关键信息，任务就会失败。这是帮助理解结果的例子，不是说论文已经把所有变化都归结为这种简单几何。

更具体的发现来自同一个编码器。换一种把局部表示汇总成整体表示的方法，电极减少后的鲁棒性就会明显不同。按解剖区域汇总的版本，比全局注意力汇总的一个版本更稳。这提醒我们，问题可能发生在最后的信息聚合，而不一定是前面的大模型没有学好。

把两篇文章放在一起，结论就更有分寸了。CortexBridge 说明几何接口值得做；鲁棒性审计告诉我们，接口、骨干模型和读出器，必须一起测试。只看一个编码器的内部向量是否相似，无法替整个系统签字。

对于多尺度脑观测平台，我会把这直接变成验收方式。先在同一批原始记录上，模拟缺失电极、位置偏差和通道数量变化，尽量把测量接口的影响隔离出来。再进一步做真正的跨设备、跨场地、跨天测试。后面这些变化会带来参考方式、噪声和接触条件的差异，难度超过简单删掉几路通道。

测试报告里，也应该同时保存两个结果：任务有没有保持，以及置信度有没有正确反映退化。一个模型如果准确率略降，但知道自己不确定，闭环系统还可以采取保守策略。最麻烦的是性能掉了，输出却依然很自信。

这里还不能直接跳到脑电、脑磁和功能磁共振之间的通用转换。脑磁记录的是磁场，功能磁共振主要反映血氧相关变化，它们的空间混合、时间响应和噪声来源都不同。电极坐标适配器提供了一个接口设计方向，但没有替我们证明跨模态迁移。

如果未来要训练多模态脑基础模型，每个模态可能都需要保留自己的测量模型和不确定性，再讨论共享哪部分潜在状态。共享表示，并不要求所有传感器的物理特性都被抹平。

到这里，我们已经从“什么时候忘记历史”，走到了“哪些变化其实来自测量接口”。接下来的问题更靠近大脑本身：脑里的历史，到底以什么方式留在当前活动中？

大脑的记忆，不只是一只时间常数

悉尼大学 Harris 和 Gong 的一篇预印本，用公开的小鼠记录研究皮层动力学。动力学在这里说的是，大量神经元的活动状态，如何随时间变化。

他们分析了四十一只小鼠、六十九次记录会话，覆盖六个视觉皮层区域。数据包含神经元的脉冲，以及局部场电位。局部场电位，是电极附近许多细胞电活动共同形成的较慢电压变化；它和单个神经元的发放计数，提供的是不同尺度的信息。

这项工作关注清醒、没有执行复杂视觉任务时的自发活动。我们经常说，低级感觉区变化快，高级区域记忆更长。但只给每个区域配一个时间常数，可能描述不了这些记录里的全部现象。

可以先想象两段信号。第一段大部分时间平缓，偶尔出现很大的跳变。第二段每一步都不大，但前面的变化会在后面留下很久的关联。这两个特点可以同时存在，也可以分别变化。

统计上，第一种特点常用重尾分布来描述。尾巴重，意思是大幅变化出现的概率，比简单高斯噪声的预期更高。第二种特点，则涉及长程时间依赖：很久以前的状态，对现在仍然留下可测量的影响。

作者提出一个自适应分数阶状态模型。分数阶这个词听起来很数学。可以暂时把它理解为，当前的变化不仅由眼前这一小步决定，还带着一个对过去历史的加权。普通的单一泄漏过程，往往对应比较固定的指数式遗忘；分数阶形式可以表达分布更广的历史依赖。

模型还允许大跳变，并用额外的动力学变量描述振荡。这样，它试图把活动跳得有多猛、历史拖得有多长，以及节律如何出现，放在同一个描述里。

数据里有一个值得记住的结果。作者衡量活动随时间扩散的尺度关系，在浅层视觉皮层，不同区域的指数大约从零点六二变化到零点五一。作为参考，普通布朗运动对应零点五。这个数不是智力分数，也不能直接读成记忆容量；它描述的是所选统计量随时间尺度变化的速度。

更关键的是，这种区域梯度与皮层深度有关。浅层的趋势，到了深层可能减弱，甚至反过来。所以，只说“大脑从低级到高级越来越慢”，会把区域、层次和统计指标的差别压成一句话。

作者还做了保留功率谱的替代信号分析。功率谱描述不同频率上有多少能量。如果打乱相位后，某些时间特征消失，就说明，仅仅匹配频率能量分布，还不足以解释原始活动中的全部结构。

他们进一步用回路模型探索兴奋与抑制等机制，怎样产生这些统计特征。但这是模型层面的机制解释，没有在这一实验里对真实小鼠回路逐一做因果干预。也还没有证明，把这种分数阶动力学放进 AI，就一定提高任务性能。

这对我们有价值的地方，是把“像脑”变成更具体的测量目标。如果一个人工循环网络的准确率很好，但内部活动只有单一的快速衰减，它是否缺少处理跨尺度历史的能力？这个问题可以提出，也可以测试。但脑活动的统计相似，仍然只能是一条约束，不能代替任务成绩。

我会把它用于挑选和比较动力学底座，而不是立刻宣布需要一个新模块。先比较单时间尺度、多时间尺度、带可塑性连接等不同方案，在相同资源预算下能处理什么输入，再看它们的活动统计是否与生物记录有相似之处。

这周的证据也没有直接测试发育过程，更没有直接证明行波计算。因此，我们之前关于发育塑造动力学、关于空间传播波的想法，仍然需要各自的证据，不能顺手挂到这篇论文上。

慢一点的记忆，能不能放在连接里

与这条线相邻的，是 Becker 和 Fauth 关于可塑性储备池的一篇建模预印本。

储备池计算，可以先理解为：让输入进入一个有丰富内部动态的循环网络，输入历史会在网络状态里留下痕迹，再训练一个相对简单的读出器。它利用的，不只是某一时刻的输入，还有系统被过去输入推动到了什么状态。

如果想记得更久，最直接的办法，是让神经元状态衰减得慢一点。但一切都慢下来，快速变化也可能被抹掉。这就像为了去噪，把低通滤波器调得很重，稳定了，却失去了短促事件。

这项工作的办法，是让连接权重也参与动态。神经元的状态负责较快变化，连接随活动发生的可塑性变化，承担较慢的信息。作者采用赫布型可塑性，也就是连接更新依赖相连单元活动的规则。在他们的模型中，突触后活动对更新的影响，相当于把经过过滤的历史重新注入网络。

这里我只讲已经从原作者摘要核实的机制方向。完整正文的访问仍有限，因此不展开尚未逐表核对的性能数字，也不把它与前面已读完整实验的研究放在同一证据层级。

这个方向让我们的记忆架构多了一个选择：慢记忆不一定都要通过延长神经元本身的时间常数实现，也可以由连接状态来承载。但这还不等于已经找到长期知识巩固，更不等于证明了一个通用的门控记忆系统。

在工程上，我会先做一个非常朴素的实验。输入里同时放快速事件和缓慢变化的背景，看看网络能不能既识别短暂事件，又记住当前背景。比较固定连接、整体慢化的状态，以及加入慢连接状态的版本。要把可塑性更新本身的计算、存储和稳定性成本算进去。

如果每个时间步都更新大量权重，可能只是把原来状态存储的成本，转移成了权重读写的成本。对芯片而言，连接可塑性不是一个免费的数学符号，它意味着实际访问、精度要求，以及更新与推理之间的调度。

因此，这篇文章对我们“稳定上下文和动态事件分开表示”的关注，是一个有用的计算假设。它值得做小实验，但还不值得仅凭名字就增加一套庞大的记忆子系统。

超声发出去了，组织里发生了什么

现在从人工网络，回到如何验证真实脑回路。

我们一直关心的多尺度脑观测平台，不能只有记录能力。要判断某个状态是否真的参与计算，往往还需要可控地改变它，再观察局部、网络和行为的后果。

这一周，Stanford 等团队公开了一项人类经颅超声刺激预印本。经颅超声，是把超声能量通过颅骨送到脑内目标区域，希望调节神经活动。这个领域的一大难题，是设备上设定的参数，并不等于每个人脑组织里实际承受的物理作用。

可以用功率传输来类比。发射端设置相同功率，中间路径的衰减、耦合和负载不同，接收端得到的结果就可能不同。这个类比只帮助理解测量链路，脑组织当然不是一个简单电阻。

作者在二十四名健康成人中，把超声刺激、功能磁共振，以及组织位移测量结合起来。实验采用双盲、条件顺序平衡的被试内设计，并设置主动对照。被试内设计意味着，同一个人经历不同条件，能减少人与人之间差异造成的干扰。

靶点是外侧膝状体，简称 LGN。它位于丘脑，是视觉信息通向初级视觉皮层的重要中继。作者观察视觉刺激引起的血氧信号，看看超声是否改变了这个中继以及下游视觉皮层的响应。

另一个测量方法叫磁共振声辐射力成像，简称 MR-ARFI。它尝试测出超声造成的微小组织位移。这是机械作用的读数，不是神经元发放的直接记录。

根据原作者公开摘要，相对于主动对照，靶向刺激增强了 LGN 和同侧初级视觉皮层的视觉诱发响应；下游效应还对应到被刺激区域的视觉空间投射。实测位移能够预测效应大小，而模拟的脑内声强，在这个样本里没有显示显著的对应关系。

这篇的完整正文和补充材料仍有访问限制，所以本期保留这些已核实的设计与摘要结论，不展开额外的毫米级定位数字或行为效果判断。

即便只看这一层，它已经提出一个很实在的平台问题：我们到底拿什么作为刺激剂量的标签？

如果只保存设备命令，后来发现两个人反应不同，就很难知道，是神经回路的差异，还是实际送进去的机械作用不同。加入组织位移这样的测量，相当于在命令和功能响应之间，增加一个可以核对的中间环节。

不过，也不能从一次没有显著相关，推导出所有声场模拟都没有用。模拟仍然可以帮助设计靶向和预估作用范围；实测则用于校准具体对象和条件。并且，位移与响应相关，不等于已经证明位移是唯一的生物机制。血氧信号也属于间接读数，不能单凭它区分所有神经和血管过程。

我们可以把未来实验设计成这样一条记录链：设备发出了什么，组织里测到了什么，局部回路怎样变，下游网络怎样变，最后行为是否改变。每一段都有自己的时钟、误差和响应延迟。

这也是多模态同步真正有意义的地方。同步不只是给文件盖上相同时间戳，还要知道一个血氧响应拖尾有多长，一个电信号检测要积累多少样本，一个刺激脉冲什么时候真正作用到组织。否则，看似对齐的数据，可能只是把不同时间尺度的变化叠在了一起。

对脑到 AI 的研究路线来说，先把这条因果链测清楚，才能进一步讨论，某种状态变量能否抽象成新的学习规则或控制方法。刺激平台的改进，可能比又训练一个更大的解码器，更直接地帮助我们排除错误假设。

稀疏计算的收益，要在存储和系统里兑现

最后看一篇硬件预印本，来自台湾新竹的清华大学团队，系统名叫 Zephyr，任务是用脉冲神经网络做音频去噪。

它适合放在结尾，因为它接住了开头那个问题：状态和事件设计得更聪明之后，省下来的计算，能不能真的变成硬件收益？

音频去噪的需求很具体。一边有人的语音，一边有背景噪声，系统要持续输出更干净的声音。如果网络里很多激活没有产生事件，理论上可以跳过一些计算。但如果硬件仍然把每个零都读出来、每个权重都搬一遍，再判断不用算，那么数据搬运的开销仍然存在。

Zephyr 把算法和处理单元一起调整。网络使用八比特量化，简化部分算子；硬件用不同类型的处理单元，分别处理适合加法和需要乘法的计算，并让稀疏性进入存储访问的调度。它没有假设整张网络都能用同一种脉冲加法覆盖。

在 FPGA 原型上，作者使用三十二个处理单元，工作频率一百兆赫。报告的平均执行延迟大约五点四毫秒，实时因子约零点七三。实时因子小于一，表示按论文的处理口径，计算能够跟上输入流。它与完整音频链路从采集、分帧到播放的总延迟，仍然是两个指标。

结果还包括约百分之八十八的跳过比例，以及约百分之五十四的存储流量减少。信号质量有一定代价：相对于原来的浮点网络，一个去噪质量指标从十五点二下降到十四点五四，另一个感知质量指标从三点零三降到三点零零。这里无需死记名字，关键是节省资源时，输出质量也要放在同一张表里。

最需要小心的，是能耗数字。论文给出每个三十二毫秒音频片段约五十二点九纳焦，以及相对于基线大约二十八倍的改善。这个数字来自四十五纳米工艺下的算子能耗估算，不是把整块 FPGA 板接到电表上量出来的结果。

估算有价值，它能帮助判断算子组合的方向。但板级静态功耗、片外存储、处理器调度和输入输出，都可能改变最终结论。不能把算法能耗模型里的二十八倍，直接写成产品续航提高二十八倍。

这和之前我们讨论边缘 AI 时的一个经验相连：把某一段放到专用芯片以后，局部计算省了多少，必须和跨芯片调用、缓冲及数据格式转换一起看。一个很高效的加速单元，如果需要频繁来回搬运小批量数据，系统收益可能被接口消耗掉。

所以，这篇论文最有用的地方，是展示了稀疏性如何进入执行和存储组织。下一步尽调应该测整板功耗、真实连续音频的延迟分布，以及更不同的噪声条件。尤其要观察尾部延迟：平均能跟上，不代表每一小段声音都能按时出来。

回看今天几篇文章，我们得到的架构更新其实很克制。机器人工作支持按变化管理历史状态，但预测误差需要另外验证；脑电工作支持把测量几何放进接口，同时联合检查读出器；皮层动力学和可塑性模型，提供了多时间尺度记忆的候选实现；超声实验则提醒我们，命令与实际作用之间需要可测量的中间状态。

如果现在开始做原型，我会先选三个小项目。一个测试不同遗忘控制在稳定与突变输入下的表现，一个测试脑电接口在缺失电极和真实换设备后能保留多少能力，另一个把稀疏算法的运算、访存和整板功耗放到同一条测量链上。每个项目都要保留一个简单而有竞争力的基线。

至于长记忆的动力学模型，可以作为另一条探索线，先在混合时间尺度任务上比较。它不必立刻并入所有系统。等它在明确预算下解决了现有方法难以解决的问题，再决定架构要怎样变化。

本期提到的原始论文、比较条件和访问限制，都放在节目页面。想听懂这些研究，不需要先成为神经科学专家。只要不断追问：记录的是什么，改变了什么，比较对象是谁，以及收益在哪一层被测量，就能抓住很多重要的区别。

我是 Zach，这里是 System Boundary，系统边界。我们下次继续。