技术长文
从功耗与时间尺度，重画视觉记忆的系统边界
视觉记忆真正的工程问题，不是能不能塞进一颗摄像头，而是如何在十几毫瓦的平均视觉预算里，不漏掉一次只有几百毫秒的注视，同时不把生活变成一条永不停止的录像。
一、两个产品信号：从全天录音到“世界可以被保存”
雷鸟 iO 是一个有意删掉摄像头的产品实验：33 克、240 mAh、四麦克风阵列加骨传导传感器，典型使用最长两天，连续录音最长 18 小时。它把日程与谈话上下文整理成行动项和记忆；录音或翻译时，硬连线状态灯必须亮起。
macOS Tahoe 26.7 RC 中出现的疑似 Camera AirPods 演示，则把视觉入口挂到了耳朵上：用户拿起一本书，让 Siri 保存眼前对象。苹果尚未正式发布这款产品；Spatial Insider 用 Vision Pro 做的是体验模拟，不是规格验证。它们共同指向的，是个人 AI 从单次问答走向跨小时现实上下文。
视觉的价值不是多拍视频，而是给语音里的“这个”、空间行为和可核查证据补上落点。
二、先做除法：60 mW 如何决定架构
用 250 mAh、3.85 V 电池做量级预算，总能量约 0.96 Wh。要戴 16 小时，忽略转换损耗后，整机平均功耗也只有约 60 mW。麦克风、IMU、蓝牙、主控待机与电源损耗先分走一部分，视觉平均预算很可能只剩 15–20 mW。
若一次高质量视觉 burst 连同传感器、ISP、NPU、写入和必要搬运消耗约 0.5 J，那么一天只够约 1700–2300 次 burst，平均每分钟约两次。这些是设计估算，不是任何已发布产品的实测规格；它们的作用是说明每一次“认真看”都在花有限预算。
Always-on 应定义为 always available perception；recording 的边界是数据是否持久化、是否离开受限感知域，而不是光子是否进入像素。
三、最硬的冲突：第一张可用帧可能比注视还晚
主传感器从深度关断到第一张曝光可用的证据帧，需要上电、寄存器初始化、PLL 锁定和 AE/AWB 收敛。不同器件差异很大，但 150–400 ms 是合理的工程预算；人的场景注视也常在 200–400 ms。等系统“看懂后再叫醒”，事件可能已经结束。
触发器因此不能只做检测，必须做预测：用 IMU 角速度衰减提前预热；让主相机温待机；把哨兵亮度直方图作为主相机首帧曝光先验；并在传感器侧 SRAM 中保留最近几秒。高分辨率的过去，则需要真正的 sensor-side frame retention。
- 哨兵负责“过去与预警”，彩色主相机负责“现在与证据”。
- L2 不只输出关键帧，还应输出最佳帧加 1–3 秒低帧率短片段。
- IMU 不是配角，而是唤醒时序里最重要的预测传感器之一。
四、从功耗倒推四个域
常驻路径必须避开 DRAM：任何在 DRAM 中循环的图像流都可能吃掉整个视觉预算。低清哨兵流默认只停留在感知岛的易失环形缓存中；只有达到明确触发条件的 ROI、最佳帧和短片段才可持久化。
| 域 | 常驻状态 | 输出边界 | 责任 |
|---|---|---|---|
| L0 感知岛 | IMU、音频事件、环境光 | 低维事件与时间戳 | 运动、语音、功耗状态 |
| L1 视觉哨兵 | 1–5 fps 单色/事件流、片上 SRAM | 默认不离开感知岛 | 新颖度、手物交互、文本候选、预热 |
| L2 证据捕获 | 彩色主传感器温待机、短 burst | ROI、最佳帧、短片段 | OCR、物体、屏幕与证据 |
| L3 记忆推理 | 眼镜、手机或云端按需 | 批量传输与分层存储 | 摘要、检索、纠错与遗忘 |
五、ISP 的新要求是克制，不是推倒重来
黑电平、坏点、镜头阴影、去马赛克、降噪、白平衡、HDR 与 tone mapping 仍然需要。真正的新模块在 ISP 外部：常驻感知岛与跨捕获、计算、存储、无线的能量调度器；ISP 内部需要的是模式开关、首帧接口、统一时基与证据输出。
给模型的也不应是未经校正的裸 RAW，而是完成黑电平、坏点和镜头阴影等最小必要校正后的线性数据。机器路径保留线性信息或特征；人类路径生成可读、可核查的 RGB 关键帧。
| 能力 | 技术要求 |
|---|---|
| 首帧可用时延 | 哨兵曝光先验、温启动与首帧质量标记 |
| 多速率/ROI | binning、裁剪、低位宽、短 burst，减少 MIPI 与 DRAM 搬运 |
| 克制模式 | 按 OCR/物体/回看关闭或降低降噪、锐化、tone mapping |
| 硬件时基 | 帧/行曝光中点与 IMU、音频共享时间戳 |
| 镜头健康度 | 长期局部锐度图，输出遮挡、污损与证据质量标签 |
| 峰值整形 | 错开捕获与无线，按电池状态限流 |
六、OCR 与闪烁：光学先决定上限
一颗水平约 4032 像素、90° 视场的 12 MP 相机，只有约 45 px/°。40 cm 外 3 mm 高的字约 19 像素，条件合适时可读；1.5 mm 小字只剩约 9–10 像素，再叠加运动、离焦与压缩就会迅速失败。光学决定上限，ISP 负责不浪费，模型只能在上限内解释。
LED 与屏幕也不是单纯的 50/60 Hz 问题。市电整流、PWM、OLED 调光与面板逐行刷新会叠加。滚动快门把时间变化变成条纹；全局快门能消除行间差异，却可能得到整帧过暗。可行方案是曝光相位估计、短 burst 的多相位候选与文本 ROI 择优；单曝光 HDR 也比头部运动下的多曝光融合更稳。
Always-on 眼镜在成像需求上，往往更像一辆始终移动、必须读懂信号灯的车，而不是等待用户稳定构图的手机。
七、眼镜、耳机和挂链承担不同责任
VueBuds 证明了耳机相机并非几何上不可用：双耳可以互补脸部遮挡，原型的低分辨率单色相机按需激活功耗低于 5 mW，也能做场景理解、翻译和文字读取。Camera AirPods 更像按需 Visual Intelligence 入口；眼镜中线相机更适合承担“用户刚才关注了什么”的证据责任。
| 载体 | 优势 | 结构性限制 | 适合角色 |
|---|---|---|---|
| 眼镜中线 | 接近头部朝向 | 不等于 gaze；脸部重量、热与隐私 | 视觉记忆主 guide camera |
| 双耳相机 | 宽覆盖、粗深度、遮挡互补 | 电池、链路与注视代表性 | 按需视觉问答与侧向上下文 |
| 胸前挂链 | 电池与散热更宽松 | 胸口与视线不同向 | 手物交互与补充 burst |
八、记忆必须能核对、纠错和遗忘
不默认展示完整 transcript 是界面选择，但不能让用户失去核查依据。可信记忆需要四层：易失哨兵缓存；本地带 TTL 的短期证据；带源事件 ID 的事件与来源；以及可重建的摘要、待办、图谱和用户更正。
删除也要成为数据结构。每个事件使用独立数据密钥；删除时销毁密钥，并让向量、摘要和图谱边按源事件 ID 级联失效。个性化优先走可删除的检索记忆，而不是把原始生活证据微调进模型权重。
最终产品应测每日触发预算、每次焦耳、第一张可用帧的 P50/P95、事件价值加权的触发召回、OCR 随角速度与闪烁变化的曲线，以及删除后派生物的失效率。
唤醒策略的 ROC 曲线，就是这副眼镜的续航—记忆曲线。