Obsidian Quartz Publisher

新sensing技术雷达

21分钟阅读

新传感器与前沿技术雷达

本页记录当前不宜马上进入主线 POC、但值得持续跟踪的 in-cabin 前沿技术。早期版本主要依据来自 The InCabin Report 2025资料，并结合 BlueSkeye-Euro NCAP 2029预测、DeepTake论文-2012.15441v2、202309-AAAFTS驾驶员接管摘要。

2026-05-21 新增一轮外部资料后，本页的重心从“已有 DMS/OMS 方向的补证据”扩展为“未充分覆盖的新技术领域”。新增资料包括 Wi-Fi/CSI、声学主动感知、event camera、thermal camera、UWB、VLM safety benchmark、driver world model 和车内多意图语音理解。

判断标准

进入本页的技术通常满足：

  • 有产业或学术线索。
  • 可能提升 driver / occupant state intelligence。
  • 当前量产、验证、伦理、成本或客户窗口仍不清楚。
  • 更适合先做资料核验、供应链访谈或低成本信号评估，而不是立即做完整 POC。

新增技术雷达总表

技术领域代表资料与现有路线的差异当前判断
Wi-Fi / CSI cabin sensing2025-DeepCPD-Wi-Fi儿童存在检测、2024-Origin AI-Murata Wi-Fi CPD商业化复用车内 Wi-Fi 信道，不采图像，不是 radar/cameraP2。适合 CPD / occupancy 信号摸底，先核验 CSI 可得性
Acoustic active sensing2023-VECARE声学座舱监测、2025-智能座舱声学聚焦复用 speakers / microphones 主动发声收反射，不是语音识别P2。是本轮最值得小样本验证的低成本方向之一
Event-based cabin vision2025-Event-Driven眨眼跟踪系统、Prophesee事件视觉汽车资料DVS/event camera 输出亮度变化事件，适合低延迟、低功耗、强/弱光Radar/P2。适合验证微眼动、眨眼、低功耗 trigger
Thermal privacy sensing2025-Thermal Camera儿童存在检测、2025-Fraunhofer舱内监测白皮书基于热辐射而非可见光图像，隐私和弱光叙事强Radar。原型可做，但量产/遮挡/高温背景风险大
UWB cabin sensingNOVELDA-UWB CPD生命体征传感器与 60GHz radar 不同，可能复用 digital key / ranging 生态Radar/P2。先作为 CPD / vital signs 供应链线索
2D+3D / ToF sensor fusion2025-Fraunhofer舱内监测白皮书从单摄升级到 RGB/NIR + depth，支撑 body pose、smart restraint、OMSP1/P2。与平台化和 OMS/CPD 能力包更接近
Cabin VLM / safety reasoning2025-DSBench-VLM内外安全风险把外部 hazard 和舱内状态放进统一 VLM safety QARadar。适合离线 benchmark / scenario mining，不适合直接上车
Driver dynamics world model2026-Driver-WM舱内动态世界模型从当前帧识别转向未来驾驶员动态 rolloutRadar/P2。对 takeover readiness 方法论很有启发
Cabin multi-intent SLU2025-MAC-SLU车内语音理解车内多意图语音理解，连接 HMI/助手，不是 DMS 传感器Radar。除非与安全提醒/用户理解闭环绑定

证据分层

这轮资料的证据强度差异很大，不能用同一种口径引用。

证据层级资料可支撑的判断不能支撑的判断
论文 + 真实儿童/多车实验2023-VECARE声学座舱监测、2025-DeepCPD-Wi-Fi儿童存在检测acoustic / Wi-Fi sensing 在 CPD 上有较强研究证据，值得做低成本信号摸底已达法规级 CPD，或能直接量产
论文 + 硬件原型2025-Event-Driven眨眼跟踪系统、2025-Thermal Camera儿童存在检测event camera/thermal 可做特定任务原型完整 DMS/OMS 能力，或量产精度
白皮书 + 供应商访谈/案例2025-Fraunhofer舱内监测白皮书ToF/RGB-D/radar/sensor fusion 是主流演进方向具体产品指标和认证结论
供应商产品/新闻稿2024-Origin AI-Murata Wi-Fi CPD商业化、Prophesee事件视觉汽车资料、NOVELDA-UWB CPD生命体征传感器商业化叙事、生态入口、应跟踪的供应商真实性能、法规通过、量产规模
Benchmark / arXiv 方法论2025-DSBench-VLM内外安全风险、2026-Driver-WM舱内动态世界模型、2025-MAC-SLU车内语音理解离线数据挖掘、benchmark、future dynamics 方法车端实时闭环或安全决策

本轮新增洞察

1. “复用已有座舱基础设施做感知”成为独立路线

2025-DeepCPD-Wi-Fi儿童存在检测、2023-VECARE声学座舱监测 和 2025-智能座舱声学聚焦 共同指向一个新判断：下一代 in-cabin sensing 不一定总是新增 camera/radar，车内已有 Wi-Fi、speakers、microphones 也可能被重新定义为 sensing infrastructure。

这条路线的吸引力：

  • BOM 增量小。
  • 隐私叙事比 camera 强。
  • 可补足 camera line-of-sight 和遮挡问题。
  • 很适合 CPD、seat occupancy、post-parking / post-crash presence 等场景。

但它的工程风险也很明确：

  • 需要底层信号开放，例如 Wi-Fi CSI 或 raw audio channel。
  • 强依赖车型、天线/扬声器/麦克风布局。
  • 与娱乐音频、语音交互、通信模块的资源调度会发生冲突。
  • 法规级验证还远未完成。

这条路线中，acoustic 的当前证据最适合做最小验证：VECARE 的实验条件明确是 parked/locked car，且提供 15 名儿童、7 辆车、98.8% detection rate、2.1% false alarm rate。Wi-Fi 的算法指标也强，但第一关是 CSI/低层信道统计是否能从量产 Wi-Fi/TCU/IVI 链路拿到。UWB 当前主要是供应商主张，优先级应低于 acoustic 和 Wi-Fi 的论文证据。

2. CPD 正在从“一个传感器方案”变成多传感器候选场

本轮新增资料覆盖 Wi-Fi、acoustic、thermal、UWB，加上原有 radar / camera 线索，说明 CPD direct sensing 的技术候选远多于传统视觉 OMS。

对 MINIEYE 来说，CPD 不应先争论“哪种传感器一定赢”，而应按遮挡和安装约束拆场景：

  • 后排可见、光照正常：视觉 OMS 可能足够。
  • 儿童座椅、毯子、footwell、后排遮挡：radar / UWB / acoustic / Wi-Fi 更值得比较。
  • 隐私敏感和低光：thermal / RF / acoustic 有叙事优势。
  • 已有车内 Wi-Fi 或音频链路可开放：复用基础设施方案值得低成本摸底。

但这不意味着 CPD 方向应平均用力。按现有证据排序，最值得先摸底的是 acoustic 和 Wi-Fi；UWB 应先做供应链核验；thermal 只能作为低成本 demo 或补充证据，不能因为“热图看起来直观”就上调优先级。原因是 thermal 原型使用成人模拟儿童、只做 human 检测且依赖 Telegram alert，离车规 CPD 仍很远。

3. Event camera 不是普通 camera 升级，而是“动态事件传感器”

2025-Event-Driven眨眼跟踪系统 说明 DVS/event camera 的价值不在于更高分辨率图像，而在于高动态范围、低光、低延迟、低数据量。它适合监控 blink dynamics、saccadic eye movement、micro-expression 这类变化事件。

这意味着 event camera 更可能成为：

  • always-on low-power trigger。
  • blink / micro-motion specialist sensor。
  • 与普通 RGB/NIR DMS 的互补传感器。

而不是短期替换主 DMS camera。

当前不能忽略 E-BTS 的边界：论文只验证 blink tracking，平均 F1 约 86%，数据集未公开，Scenario 3 还依赖 server-side AI。它的真正启发是 hardware-software co-design，而不是“买一个 event camera 就能升级 DMS”。

4. In-cabin intelligence 正在从 recognition 走向 reasoning / prediction

2025-DSBench-VLM内外安全风险 和 2026-Driver-WM舱内动态世界模型 代表了算法范式变化：

  • DSBench：评估 VLM 是否能把外部风险和舱内状态放在统一 safety reasoning 中。
  • Driver-WM：从当前状态识别走向未来 driver dynamics rollout。

这对 MINIEYE 的启发是：下一代 DMS 不应只输出“疲劳/分心/打电话”标签，还要逐步形成：

  • 场景条件下的状态风险。
  • 未来几秒接管/反应趋势。
  • 可解释的干预时机和 HMI 策略。

短期更现实的做法不是上车部署 VLM/world model，而是把它们用于离线数据挖掘、场景标注、case review 和 benchmark 构建。

这两类资料还提醒评价指标本身要升级。DSBench 表明传统文本指标和安全理解不完全一致；Driver-WM 表明 average motion error 会被低运动片段误导，必须单独看 High-Motion / high-risk tail。对 MINIEYE 来说，这比模型结构本身更可立即吸收。

Alcohol / drug impairment

资料线索：

  • The InCabin Report 将 alcohol impairment 单列为 debate topic。
  • BlueSkeye AI 预测 Euro NCAP 2029 可能关注 alcohol intoxication。
  • Sightic 在 Company Directory 中主打 alcohol/drug impairment detection。

可能技术路线：

  • breathalyser。
  • 视觉血流或眼部迹象。
  • 方向盘 micro input。
  • 皮下 spectroscopy。
  • DMS 与行为模型融合。

主要障碍：

  • ground truth 难采。
  • 伦理和法律风险高。
  • BAC 未必等于真实驾驶能力。
  • 误判可能阻断驾驶员去医院等合理驾驶需求。

当前建议：Radar。先做资料核验和竞品追踪，不做 P0/P1。

Brain-based sensing / micro-motion

资料线索：

  • The InCabin Report 讨论 EEG、ERN、PE、N200、FRN 等 neurological signatures。
  • CorrActions 主张用 existing vehicle sensors 的 micro-movements 推断 impairment。
  • Neumo 探索 contactless / low-power EEG。

可能价值：

  • 不新增硬件时，可利用方向盘、踏板、CAN 信号做 driver state 增强。
  • 可能比视觉更早捕捉 cognitive distraction、fatigue、impairment。
  • 可作为 camera monitoring 的 complementary layer。

主要障碍：

  • 公开证据不足。
  • 可解释性、泛化能力和误报风险需强核验。
  • 宣传容易高于实际工程成熟度。

当前建议：Radar 到 P2 之间。可以先从“现有车辆信号是否改善疲劳/分心/接管预测”做离线分析，不碰 EEG 硬件。

Airy3D / 单摄 2D+depth

资料线索：

  • Airy3D 提供 passive single-sensor 3D imaging。
  • 路线是在标准 image sensor 上加入 transmissive optical layer，获得 2D + depth。

可能价值：

  • 保留单传感器紧凑性。
  • 不需要主动 emitter。
  • 可能增强 gesture、occupant position、distance、OMS。

主要障碍：

  • 车规成本和供应链成熟度需核验。
  • 低纹理、远距离等局限需实测。
  • 与 MINIEYE 当前 camera/SoC/ISP 流水线的兼容性未知。

当前建议：硬件期权。供应链访谈优先于算法 POC。

Radar vital signs / CPD

资料线索：

  • A4Radar、Socionext、Sleep Advice Technologies、Neteera、Pontosense 等均出现在报告生态中。
  • 60GHz / 122GHz radar 可用于 CPD、breathing、vital signs、sleep onset。

可能价值：

  • CPD direct sensing。
  • 遮挡、黑暗、毯子覆盖下的生命体征。
  • 与视觉 OMS 互补。

主要障碍：

  • 误报/漏报验证难。
  • 新生儿、儿童座椅、后排遮挡场景复杂。
  • 硬件成本、安装位置和 EMC 等工程约束。

当前建议：P2。若 CPD 被确认为近期客户需求，可上调。

Wi-Fi / CSI cabin sensing

资料线索：

可能价值：

  • 复用车内 Wi-Fi，理论上新增硬件成本低。
  • 不采集图像，隐私叙事强。
  • 可能绕过座椅、视线和光照限制。
  • 适合 CPD、seat occupancy、post-crash presence 等全舱存在性任务。

主要障碍：

  • 需要 Wi-Fi chipset 提供稳定 CSI。
  • 天线位置、车型结构、乘员姿态和环境变化会影响泛化。
  • 对儿童与成人的细分仍有年龄/动作边界。
  • 需要确认供应链和 OEM 是否愿意开放通信硬件给 safety sensing。

当前建议：P2 观察。可做小样本信号摸底，但不要直接定义为产品主线。

Acoustic active sensing

资料线索：

  • 2023-VECARE声学座舱监测 使用车内 speakers + single microphone 做 CPD，报告真实儿童测试中 detection rate 98.8%、false alarm rate 2.1%，并强调 whole-car detection。
  • 2025-智能座舱声学聚焦 提出 distributed acoustic 3D spatial beamforming 和 in-car occupancy grids，用于 occupancy detection、multi-target sensing、subtle motion detection。

可能价值：

  • 复用车内音响和麦克风，硬件增量潜力极低。
  • 主动声学反射可用于微动、呼吸、占位检测。
  • 有望覆盖 camera blind spot、rear-facing child seat、floor、遮挡等场景。

主要障碍：

  • 需要处理娱乐音频、语音通话、风噪、外部噪声、儿童哭闹。
  • 主动发声信号的频段、音量和用户接受度要验证。
  • 车内 speaker/microphone 布局差异巨大。
  • 安全功能和 infotainment 资源共享会带来系统集成问题。

当前建议：P2。比新硬件传感器更适合做低成本实验验证。

Event-based cabin vision

资料线索：

  • 2025-Event-Driven眨眼跟踪系统 使用 DVS 做 event-driven blink tracking，报告 200 FPS、1275x blink detection speedup、310-496x eye region detection speedup、平均 F1 约 86%。
  • Prophesee事件视觉汽车资料 把 event-based vision 用于 automotive DMS，并强调 low light、saccadic eye movement、micro-expressions。

可能价值：

  • 低延迟、低数据量、低功耗。
  • 对眨眼动态、微眼动和快速变化更敏感。
  • 在强光/弱光/隧道等高动态光照场景可能优于普通 RGB。

主要障碍：

  • 新硬件供应链和车规成本未知。
  • 静态状态不敏感，不能独立覆盖完整 DMS。
  • 现有证据更多集中在 blink tracking，尚未覆盖完整 driver state model。

当前建议：Radar/P2。作为 specialist sensor 或 trigger sensor 观察。

Thermal privacy sensing

资料线索：

可能价值：

  • 不依赖可见光，弱光/强光鲁棒。
  • 热图比 RGB 更隐私友好。
  • 对 occupant presence、heat stress、well-being 可能有价值。

主要障碍：

  • 车内高温背景、太阳暴晒、热座椅、毯子遮挡会带来误判。
  • 低分辨率 thermal sensor 对儿童/宠物/物体边界不一定可靠。
  • 成本和模组集成需核验。

当前建议：Radar。适合原型，但证据强度不如 Wi-Fi/acoustic。

UWB cabin sensing

资料线索：

可能价值：

  • 与 digital key / ranging / access 生态可能有复用关系。
  • 对 CPD、seat occupancy、vital signs、遮挡场景有潜力。
  • 隐私叙事优于图像。

主要障碍：

  • 当前来源为供应商页面，缺第三方验证。
  • 需要比较 UWB、60GHz radar、Wi-Fi、acoustic 在同一 CPD 场景下的真实优劣。

当前建议：Radar/P2。作为供应链方向跟踪。

Cabin VLM / world model / spoken understanding

资料线索：

可能价值：

  • 把 in-cabin 从“感知标签”推进到“场景理解、预测和交互”。
  • 支持接管准备度、HMI 解释、风险问答、离线 case mining。
  • 可帮助构建 MINIEYE 自己的 benchmark 和 validation story。

主要障碍：

  • VLM/LALM 算力、延迟、隐私和功能安全都不适合短期直接上车。
  • benchmark 能力不等于实车闭环能力。
  • 需要和 Euro NCAP/OEM 场景库对齐，否则容易变成泛 AI demo。

当前建议：Radar。优先用于离线研发工具和数据分析，不作为近期量产功能。

Biometric sensing / spectroscopy

资料线索：

  • trinamiX 提到 NIR camera、eye-safe laser dot projector、vital signs、face authentication、seatbelt material identification。
  • BlueSkeye AI 预测 eye health / visibility 可能成为远期关注点。

可能价值：

  • 非接触 heart rate。
  • liveness check 和车内支付安全。
  • driver distance / restraint optimization。
  • seatbelt material identification。

主要障碍：

  • medical claim 边界。
  • 隐私和用户接受。
  • 硬件集成复杂度。

当前建议：Radar。优先关注是否服务于 OMS/CPD/safety，而不是泛健康。

Audio sensing / voice AI / LLM manual

资料线索：

  • The InCabin Report 把 audio 用于 safety 和 comfort。
  • 外部麦克风可做 siren detection 和 AV 外部沟通。
  • LLM + digital user manual 可帮助用户理解车辆警告和功能。

可能价值：

  • 减少看屏和手动操作。
  • 降低 cognitive load。
  • 帮助用户理解 DMS/ADAS 告警。

主要障碍：

  • 与 MINIEYE 当前核心能力距离较远。
  • 需要与座舱系统、语音、HMI、车控深度集成。

当前建议：作为用户理解和 HMI 方向的输入，不单独做传感主线。

与 POC 的关系

当前不建议把本页技术直接排成 POC。更合适的节奏是：

  1. 证据核验：论文、官网、白皮书、客户案例。
  2. 供应链访谈：硬件、成本、集成、车规、验证。
  3. 离线增益评估：是否相对现有 DMS/OMS 有明确增益。
  4. 小样本信号质量摸底：只回答“信号是否可用”。
  5. 再决定是否进入 POC。

相关页：

Graph View

反向链接