大脑教给 AI 的三件事：坐标、记忆与闭环

01 一副脑电帽，为什么第二天就不灵了

设想一个实验。一个人戴着脑电帽，看一段电影。模型能从脑电里，大致找到他正在看哪一小段。我们把模型保存好，第二天重新戴上帽子，换一部电影，再试一次。昨天还不错的结果，今天可能掉得很厉害。那到底是哪一部分变了？人的想法变了，传感器的位置变了，还是我们从一开始，就只学到了那部电影里的规律？

欢迎收听系统边界，System Boundary。本期由 Zach 授权的合成声音讲述。我们用二零二六年十月五日到十一日的一组 NeuroAI 论文，来拆开这个问题。配套的幻灯片会跟着音频翻页；如果你现在只方便听，也没关系，我会把图里的关系讲清楚。

我想把它放在做系统的人熟悉的位置上：你拿到一个会漂移、会学习、内部状态又看不全的系统，要怎样测量它、建模它，最后跟它形成闭环？脑机接口把这个问题变得非常具体。人工智能架构则让我们反过来问：哪些原理值得从大脑学过去？

这周的主角都是预印本。有些数字很漂亮，也有相当关键的失败结果。我们会把它们一起看，因为失败往往更能帮助我们确定，下一步究竟该设计什么实验。

02 从信号链开始理解脑机接口

先画一条最简单的信号链。左边是一个人的任务和意图，中间是神经活动，再经过组织和测量设备，变成我们收到的电压、磁场或者成像信号。模型从这些观测估计状态，右边再输出光标、文字，或者机器的动作。

对芯片和系统工程师，这里有一个很熟悉的区分：被测对象的状态，和测量链路的传递特性，不能混为一谈。温度传感器的读数变了，可能是温度变了，也可能是偏置变了。脑信号复杂得多，但这层区分仍然有用。

例如脑电帽上的一个通道，并不只对应正下方的一小块脑区。很多神经元群体的电活动，经过头部组织混合以后，都可能参与这个通道的读数。帽子移动一点、接触阻抗改变一点，观测关系就会变化。同一个认知状态，未必对应同一串原始波形。

这也解释了为什么脑机接口有两种不同的工程目标。一种是在今天、这个人、这套设备上把任务做好。另一种是明天换个场景，甚至换个人，系统还能用。后者要求模型知道，哪些变化应该被忽略，哪些变化恰恰是我们想检测的。

如果我们把所有东西都塞进一个黑箱，让它输出一个分类标签，当然也可以先跑起来。但当结果变差时，很难知道该重校传感器、重训读出层，还是整个内部表示都失效了。

03 同一个大脑，不同的测量窗口

接着把几种测量方式放到图里。脑电，也就是 EEG，记录头皮电位；脑磁图 MEG 记录神经活动产生的微弱磁场。这两种方式擅长追踪快速变化，但要从头部外面的信号反推内部活动来源，需要模型和额外信息。

皮层脑电 ECoG 把电极放在皮层表面附近，能更直接地观察局部电活动，但需要侵入式放置。功能磁共振 fMRI 则主要通过血氧相关变化，间接反映神经活动。它能提供广泛的空间覆盖，时间响应却受血流动力学限制。不能把 fMRI 的每一帧，想成一张瞬时神经放电照片。

这些方式没有一个抽象意义上的总冠军。想知道一个信号从哪里来，和想知道它在几十毫秒内怎样变化，需要的窗口可能不同。研究一个大范围的状态，和控制一个需要即时反馈的动作，也不是同一份规格书。

所以，我们讨论多尺度神经观测平台，首先要明确实验问题。是寻找跨天稳定的意图坐标？是研究快速错误反馈？还是观察刺激之后，系统从一种状态转到另一种状态？先把想区分的机制写下来，再选择测量组合，比较容易判断多加一种设备到底带来了什么信息。

图上不同的测量窗口，是概念示意，不是设备参数排名。后面几篇论文最有意思的地方，正是试图在这些不同窗口背后，找到更稳定的计算对象。

04 解码之前，先写清观测是怎样生成的

第一篇论文叫做 Neural Decoding as Cognitive Inference，十月八日公开。它的出发点是：神经解码可以理解成一个逆问题。我们先描述内部状态怎样经过脑结构和测量过程生成信号，再根据收到的信号，倒推内部状态。

用一个很简化的工程式子来想，观测等于测量模型作用于隐状态，再加噪声。这里的测量模型，会受到脑的几何形状、传感器布局，以及具体模态的影响。这个式子只是帮助理解，并不是说真实大脑已经被一个线性矩阵完整描述了。

为什么要先讲生成过程？因为逆问题通常没有唯一答案。几组不同的内部活动，都可能在头皮上产生接近的信号。如果我们知道一些结构条件，就能排除不合理的解释，减少模型需要从数据里重新猜测的部分。

这跟做反演、校准或者系统辨识时使用先验很相似。先验不是偷偷把答案放进去，而是明确告诉模型：哪些解更符合已知的物理和结构条件。当然，先验放错了，也会把答案拉偏。

这篇工作覆盖脑电、脑磁、皮层脑电、近红外功能成像和功能磁共振。值得关注的不是模态名字多，而是它试图把稳定的认知状态，与每种测量所造成的变形分开。

05 皮层几何，可以提供一套坐标

具体怎样把脑结构写进去？论文用到了皮层几何本征模态。这个词听起来很抽象，可以先想象一根弦。弦的长度和边界，决定了它有哪些比较自然的振动形状。复杂的振动，可以表示成这些基本形状的组合。

皮层不是一根弦，而是有褶皱的表面。研究者根据它的几何，计算一组空间模式，再用这些模式约束神经表示。这里借用振动来解释数学上的基函数，并不是说论文测到了皮层真的按照这幅示意图机械振动。

它对脑机接口的吸引力在于：传感器今天读到的波形可以变，但个体脑结构不会同样剧烈地每天变化。如果模型把相对稳定的坐标和快速变化的活动分开，就有机会减少跨天漂移。

作者在三个数据集上报告，跨 session 的表征相似度，从大约零点三九、零点四六、零点二一，提高到零点八零、零点八二、零点七六。这里的 session 就是一段独立采集。这个结果说明表示更一致，不等于所有实际脑机接口任务都按同样比例改善。

在六个人的光泵脑磁图想象语音实验里，三分类准确率是百分之四十八，对照模型约百分之三十三。它仍然离自由说话式的通用解码很远，但给出了一个值得复现的结构先验方向。

06 跨人共享的，可能是关系而不是单个通道

再看另一篇，BRAID-fMRI。作者把八个独立采集的视觉功能磁共振数据集放到一起。总计七十七名个体、约四十三万个试次配对。不同人的脑形状不同，扫描条件不同，原始体素也不能简单逐个对齐。

他们先按照共同脑区图谱，把数据组织成三百七十九个感兴趣区域。每个区域转成模型的一个向量，也就是 token，再加入区域身份和可选的个体身份，送入共享的 Transformer。输出去对齐冻结的 CLIP 视觉语义空间。

可以把它想成不同城市的地图。街道坐标未必相同，但“学校靠近住宅区”“车站连接几个商圈”这样的关系，可能有共同结构。模型尝试保留的，是刺激之间、脑区之间可比较的关系。

在一个匹配的八人比较中，前十候选检索率是百分之三十五，两个对照分别约百分之二十七和二十一。但也有数据集上，简单的岭回归更好。所以，共享模型并没有抹平所有采集差异。

还有一个容易忽略的地方：它对齐的是 CLIP 空间。因此，得到相似的语义几何，部分可能来自共同的训练目标。要证明发现了大脑天然共享的坐标，还要换监督目标、换任务，看看关系是否依然存在。

07 多采一些人，究竟有没有用

现在回到开头的电影实验。十月七日公开的一篇 EEG 研究，把受试者规模从十人，一路扩展到一千八百多人。使用的是一百二十九通道脑电、每秒两百次采样，并把连续记录切成两秒窗口，与视频模型的表示对齐。

过去很多脑电数据集只有几十个人。这个研究发现，在约五十人以下，模型并没有明显超过一个未训练编码器。超过这个范围以后，随着人数增加，解码表现才开始稳定改善。这让“多采人没有用”和“规模有用”两种看法，有可能出现在同一条曲线的不同位置。

作者报告，最优模型在一百零一个候选片段中检索当前片段，表现约是机会水平的八倍。这里一定要换算一下直觉：随机猜一个候选，正确率不到百分之一；八倍机会水平，大约也只有百分之八这个量级。它是有信息的结果，但远不是百分之八十。

使用已经预训练的 EEG encoder，规模收益更明显，达到同等结果需要的下游计算也更少。不过预训练本身的成本没有算进去。就像复用一个成熟 IP 能减少本项目开发时间，却不能说这个 IP 当初的开发没有成本。

这篇论文让我愿意认真考虑大队列自然刺激协议，但还不足以据此给所有脑机接口项目定出统一的最低人数。

08 换一部电影，才看见迁移的边界

接下来的结果，比那条上升曲线更值得停一下。模型换到一部没有见过的电影时，冻结全部对齐关系、直接做零样本检索，结果仍然接近机会水平。可如果允许在新电影上重新训练一个很轻的线性读出层，表现又会随原来训练的人数增加而改善。

这两件事放在一起，并不矛盾。编码器可能已经提取了有用特征，但把这些特征翻译成当前任务答案的那张表，仍然需要重新建立。

如果把编码器想成一套仪器，把读出层想成标定关系，那么仪器已经能测到有意义的变化，不代表拿到另一种样品时，原来的标定曲线就一定适用。这个类比不包含脑的全部复杂性，但能帮我们把两个验收指标分开。

对脑机接口来说，这会改变产品问题的问法。我们可以接受用户首次使用时做两分钟校准吗？每次换任务都要做，还是只在换设备时做？校准需要真实标签，还是可以利用用户的自然反馈？这些成本，可能比榜单上再多两个百分点更影响体验。

因此，下次看到“跨任务泛化”，我会先问：到底允许改哪些参数？有没有用新任务的标签？整个模型冻结后是不是仍然有效？只要条件说清楚，部分迁移同样很有价值，没必要把它包装成完全零样本。

09 稳定什么，不能把真实变化也滤掉

到这里，似乎我们只要找到稳定的隐状态，就能解决漂移。但还有另一面。一个人从专注变得疲惫，从熟练动作转向学习新动作，脑状态本来就应该改变。如果模型为了稳定，把这些变化也消掉，我们得到的只是一个很平滑、却不再敏感的坐标。

所以，稳定不是越强越好。我们需要明确，什么是干扰变量，什么是任务相关变量。帽子略微移动，可能希望表示保持不变；使用者真的改变了意图，就必须跟着变。

这可以用一个两轴实验来分开。在相同任务下改变传感器条件，检查模型能否保持输出；在相同传感器条件下改变任务或施加干预，检查它能否响应。两个方向都过关，才有资格把 latent 叫作有用的稳定状态。

这也是我们此前讨论“稳定上下文”和“动态情景状态”时，需要补上的操作定义。稳定层负责慢变化条件，动态层负责当前发生的事；边界应由实验来确定，而不是在框图上预先画死。

如果进一步做在线适应，还要防止模型把自己产生的错误动作，当成新的正确标签不断学习。自适应速度、错误检测、回滚条件，最好作为控制逻辑单独设计。下面，我们再问一个更底层的问题：这个内部状态到底怎样记住历史？

10 一阵波，怎样保存刚才发生过的事

SpatialRNN 的想法，可以先用一盆水理解。在不同位置、不同时间点轻触水面，波纹会传播、叠加。即使此刻没有新的输入，水面也不会马上恢复平静；当前形状里，还留着之前输入的影响。

普通循环神经网络把历史压缩进一个状态向量，每来一个输入，就更新一次。SpatialRNN 引入一个空间分布的场，让神经元通过场的局部演化来交互。于是，记忆除了存于单元的数值，还可以存于不同空间模式的振幅和相位。

对电路工程师，也可以想到一个由多个模态构成的动态系统。一个脉冲进去，不同模态以不同方式持续响应，后面的读出利用这些响应重建历史特征。这只是工程解释，论文并没有实现一个对应的模拟电路，更没有证明脑波就是这个方程。

图中几帧波纹是原理示意，不是实验录像。它想说明的是，局部单元之间的通信过程本身，可以参与信息保存。连线不再只是把数值送过去的通道，传播规律也成为计算的一部分。

这很自然地连接到我们此前的行波假说。不过现在有了一个更具体的问题：在同样参数、计算和能耗下，这种空间动力学，是否比普通循环状态更值得保留？

11 无限历史，不等于无限容量

论文标题用了无限上下文窗口，很容易让人联想到无限记忆。这里需要准确一点。作者证明，这个二阶空间系统可以等价展开成一个依赖所有过去状态的结构化循环网络。但展开式里出现全部历史，不表示每一条过去的信息都能被无损找回来。

有限精度、有限状态、噪声和模态混合都会限制可区分的信息。我们熟悉的滤波器，输出同样可以依赖很久以前的输入，也不会因此变成无限容量的存储器。

实验里最亮眼的是复制任务。模型先看到一串符号，隔着一段时间，再把它们输出。长度一千零二十四时，只有六千八百多参数的 SpatialRNN，准确率约百分之九十九；一个更大参数的高阶循环网络对照只有约百分之十三。

但在另一个序列化图像任务上，SpatialRNN 约百分之五十七点八，仍低于两个对照的百分之五十九和六十点五。所以它擅长什么，仍然取决于输入结构和任务。

如果我要把它放进候选架构，不会先承诺替换现有网络。我会选一个需要长期历史、又不能一直增加缓存的真实任务，加入现代状态空间模型，然后同时限制参数量、训练预算、推理内存和延迟。赢下这种比较，才有进一步做硬件的理由。

12 预测得一样准，内部机制也可能不同

另一篇 EEG 研究，给 world model 的评估提了一个醒。作者先在约一万八千八百小时脑电上预训练编码器，然后对一百九十八名受试者建立隐状态和状态转移图，其中一半是癫痫组，一半是对照组。

在四个隐状态的设置下，两组的下一状态预测表现几乎一样，预测的 AUROC 都在零点八六附近。可是模型推断出的非零依赖边数量，平均大约十条和六条，统计差异非常明显。

可以想象两座城市，明天到站人数预测得同样准，却有完全不同的交通网络。只看最后那个预测误差，你分不出它们依赖哪条路、哪条路堵了以后会怎样。

对 AI world model 也是如此。两个模型都能预测正常输入的下一步，却可能在干预后做出完全不同的反应。要学习可用于控制的世界状态，单步拟合只是其中一项。

这篇工作还不能把图里的每一条边解释成真实神经因果连接，图特征区分人群的能力也只是中等。它的启发更直接：把转移结构、状态停留时间、异常扰动后的恢复过程，加入模型验收。否则，一个预测分数不错的模型，未必有我们需要的内部结构。

13 跨物种对齐，要比较干预把状态推向哪里

接下来这篇来自 Exin Therapeutics，把小鼠和人类 EEG 放到共同表示空间。两个物种各用自己的编码器，再通过对比学习，让相同实验状态靠近，并降低模型直接识别物种的能力。

如果两边只是静态地混在一起，还不够有意思。更有意思的是，在施加同一类感觉刺激后，状态移动的方向是否相似。研究中，九名人类和十二只小鼠的几类感觉实验，方向相似度较高，但其中一个检测稀有刺激的范式没有成功。这说明共享表示的边界，可能与实验类型有关。

作者进一步用药物是否把疾病状态推向健康状态，构建一个疗效指标。在十个药物与动物模型组合上，它与回顾性临床疗效的排序相关约零点八七。数字值得关注，但十个组合很少，临床终点也不一致；人类癫痫与对照的区分能力只有零点六二左右。

所以我会把它当作一个转化实验的候选读数，而不是已验证的药物筛选器。真正关键的是，下次拿到完全没见过的药物，能不能先给出排序，再等结果揭晓。

对于神经观测平台，这条线提醒我们保存完整的干预条件。测到了什么信号很重要；何时、以什么方式扰动系统，以及扰动后状态沿哪个方向走，同样可能定义模型应当学习的坐标。

14 果蝇的布线图，能替我们做多少设计

现在从动态回到结构。果蝇连接组研究，用了约十三万九千个神经元、五千四百五十万条突触连接。连接组，就是一张谁和谁相连的结构图。研究者把它变成图网络，保留连线拓扑，训练已有连接上的增益，再做颜色、形状和数量任务。

颜色分类接近百分之百，甚至未训练的生物图也能达到百分之九十二。看到这里，很容易想：大脑连线本身已经包含了大量能力，是不是拿来就能用？

但形状任务给出另一个侧面。生物图大约百分之六十四，无布线成本限制的随机图约百分之七十。只有把连接距离等布线成本放到相近水平时，生物图的优势才更加突出。

这对硬件思考很有价值。自然界需要同时解决准确率、通信距离、发育规则和生存成本。工程系统也一样，不能只拿一个任务分数来判断整个拓扑的好坏。

同时要注意，主模型训练时允许部分突触增益改变符号，只做三步信息传递，而且每种随机化只用一个图实例。因此，这还不是把果蝇大脑原封不动搬到计算机里。它提供的是一个需要更严格随机对照的结构先验实验。

15 稀疏网络，落到芯片上还会丢连接

把刚才的布线问题往芯片推进一步，就来到 BrainScaleS。这个神经形态平台把大量神经元和突触电路集成到晶圆级系统里。本文讨论的是第一代平台的映射过程，不是一颗本周刚发布的新芯片。

问题非常工程化：软件图上有一条突触，映射以后，硬件里真的有足够的资源把它接起来吗？神经元数量放得下，不代表交叉开关、路由和连接配置都放得下。

研究测试均匀随机网络。当连接概率为百分之一，实际映射在约六千个神经元时就开始丢突触，一万个时损失超过百分之十。而解析估计直到约一万三千多个神经元才开始出现明显损失。连接概率提高到百分之五，一万个神经元时实际损失超过四分之一。

这里的差距提醒我们，架构的有效容量取决于映射算法、开关结构和布线拥堵，不只取决于纸面存储容量。它与做片上互连时遇到的问题很接近：总带宽够，不表示每个热点路径都够。

所以，脑启发模型如果声称更稀疏、更高效，我希望看到实际路由、丢失连接对任务的影响，以及端到端能耗和延迟。否则，我们可能只是把矩阵里的零变多了，却没减少系统中最贵的数据移动。

16 训练可以复杂，部署路径可以简单

本周还有一篇脉冲强化学习研究，可以作为一个短而具体的工程补充。脉冲网络用离散事件传递信息；当每次决策只允许很少几个仿真时间步，估计动作价值会更困难。

作者注意到，不同动作的价值可能带着一个共同的偏移。假设向左、向右、停止三个价值都多加了一个相同的数，最优动作的排序不会变，可强化学习更新时要拿价值去计算未来回报，这个偏移就会污染训练目标。

论文在训练期加入一个普通神经网络，帮助修正这个共同模式误差；到部署阶段，把辅助网络移除。这样，昂贵的训练稳定器不必一直留在推理路径里。

在只用两个时间步的 MiniAtar 测试中，作者报告平均归一化表现约百分之九十，比最强的脉冲对照高约二十个百分点。但这不是所有游戏的原始准确率，也没有芯片能耗实测。

我觉得它最值得借鉴的，是训练系统和运行系统可以有不同结构。我们此前谈低带宽控制信号、稀疏控制平面，这里有一个很具体的算法例子。但它的信号来自辅助网络，不能因此说发现了大脑的神经调质机制。

17 把这些想法放回一张系统图

现在把图合起来。最左边是测量和任务记录，包括脑信号、设备几何、时间戳和干预条件。接下来，不同模态先走各自的编码器，避免强行要求所有原始信号使用同一种表示。

中间是一层相对稳定的坐标，保存结构和关系约束。它上面运行动态状态，记录现在的上下文和历史。长期记忆可以先用普通循环网络或状态空间模型实现；如果空间场模型在匹配预算下确实更好，再替换这一部分。

右边是任务读出和控制器。它将状态翻译成光标、文字或动作，并把实际结果送回来。需要校准时，先明确改读出层、改传感器映射，还是改中间的表示；不要每次都把整个系统重新学习一遍。

这张图是我们的工程综合，不是任何一篇论文已经验证的完整系统。它也没有要求必须做五个独立芯片或者五个独立模型。它首先是一种接口划分，让我们知道不同错误该在哪一层定位。

一个很实用的判断是：如果加上一个模块，却说不清它的输入、状态变量、更新速度和失败测试，那它暂时还不该成为硬件规格。先把它放在可替换的软件边界里，会更容易保持探索空间。

18 闭环之前，先把延迟和时间轴算清楚

讨论脑机接口，很容易从离线解码准确率直接跳到在线控制。中间还隔着一条完整的时间链：采集窗口、传输、预处理、模型推理、控制输出，以及反馈被人重新感知。

例如，模型用两秒窗口做检索，即使一次推理只花几毫秒，也不能自动宣称它有几毫秒的端到端响应。窗口可能重叠滑动，更新频率可以很快，但它依赖多长的历史、需要等到哪些样本到齐，必须说清楚。

多模态也有类似问题。脑电和功能磁共振都能预测一个任务标签，不代表把它们按同一时间戳拼起来，就得到了同步的神经状态。不同测量有不同的响应过程，需要在观测模型里处理。

如果未来加入刺激，更要区分预测、控制和因果解释。模型说某个状态可能出现，只是预测；我们施加一个输入，观察状态怎样改变，才开始接近系统辨识；要证明特定机制，还需要针对混杂因素的实验。

因此，一个多尺度观测平台很值得先把硬件触发、设备时钟、刺激事件和处理链路延迟记录好。这些信息听起来没有更大模型那么醒目，却决定后来能不能重建正确的因果顺序，也决定实时闭环的性能可以怎样解释。

19 三个值得先做的小实验

如果把今天的启发变成下周能讨论的工作，我会先选三个小实验。第一个是漂移实验。固定任务，改变采集日期或传感器条件；再固定设备，改变任务状态。比较普通编码器和结构先验模型，看谁能同时做到抗干扰和保留真实变化。

第二个是长历史实验。选一段真实神经序列或一个连续交互任务，要求模型利用很久以前的信息，但限制推理内存。把空间场、普通循环网络和现代状态空间模型放在同一预算下比较。再打乱空间相位或拓扑，检查优势到底来自什么。

第三个是迁移实验。先留出整个人、整天、整部电影，最后再留出一个新设备。每次都报告两组结果：完全冻结以后能做多少；只允许少量校准以后又能恢复多少。这样能直接估计实际产品的使用成本。

这些都不是要立刻建立一个万能脑基础模型。它们的价值，是把几个听起来很大的方向，变成可以失败、可以比较、可以复现的问题。成功了，知道该加什么；失败了，也能知道应该删掉哪条假设。

等软件层面有了稳定的收益，再把映射损失、通信距离和每次决策的能耗加入预算。此时去讨论什么值得固化到硬件里，依据会扎实得多。

20 下次看脑机接口演示，先问哪一层变了

最后回到第一副脑电帽。第二天模型不好用了，我们现在不必只在“数据不够”和“模型太小”之间选择。还可以问：传感器映射是否变了？内部坐标是否稳定？读出层是不是只适合原来的任务？在线反馈又有没有让系统学偏？

本周这些论文，分别给了我们一些可以检查的位置。结构几何帮助确定坐标，跨被试实验帮助确定规模和迁移边界，空间动力学提出另一种保存历史的方式，连接组和神经形态平台则把通信成本重新摆到桌面上。

对我来说，最有启发的地方，是开始用同一套系统问题理解 NeuroAI 和脑机接口。我们研究大脑，不只是为了找一个好听的模块名字；我们也在找更好的状态变量、更合理的校准边界，以及更节省通信的学习和控制方式。

现在可以留一个小问题给自己：如果设计一套长期使用的脑机接口，你最希望哪一部分永远不用重新训练？是传感器编码器、内部状态空间，还是最后的动作读出？这个选择，会决定你采集什么数据、允许怎样校准，以及怎样判断一次升级真的有效。

配套讲义保留了关键数字、实验条件和论文链接。那些很漂亮的结果，仍然属于需要复现的早期信号；而由它们启发的架构，则等待我们自己的实验来检验。这里是系统边界，我们下次继续。