专家观点 | 传感器融合的集成

来源:CEVA #CEVA#
5502

Jeff VanWashenova(CEVA人工智能和计算机视觉营销高级总监)

科技正日益融入我们的生活,原本用于提供信息和娱乐的设备逐步变成帮助我们观看、聆听、感知身边的世界并快速做出响应的设备。这种转变的基础在于能够扩展我们的眼睛、耳朵和决策能力的传感器。

从汽车、家居自动化、音频和智能城市到机器人,感知是打造可以收集、分析信息并做出适当响应的情境感知设备的第一步。IMU(惯性测量单元)、微型麦克风、音箱、摄像头、雷达和LIDAR(激光雷达)装置,分别为我们建立智能环境提供了基础信息。

但这些传感器本身并非智能。它们只生成原始数据。在智能处理中,智能居于传感器之后,尽管两者很可能内置于同一设备。原始数据必须经过处理和打包,以变得可执行。

车前有一位行人,或左边有另一辆车快速驶来。戴上VR头盔(图1),可以抬头直视前方。按两下左侧耳机可以打电话。或者说一个指令切换到另一个音轨,可以被耳机接收并识别。还有更多示例,如可穿戴eHealth(电子健康)设备,或许还会出现可以检测新冠疫情症状并进行接触跟踪的智能创新,对吧?所有这些功能都依赖于将原始数据转换为智能信息。

但如何做到这一点,需要权衡利弊。我们可以将所有原始数据上传至云端或大型中央处理器,让高功率机器学习还原。这个想法很快就因为功耗、带宽、延迟和用户体验等问题而宣告失败。所以更好的解决方案是在传感器附近进行智能还原。如果解决方案也采用无线通信,那么效果会更好,因为在许多应用中,无线是下一代接入网的解决方案。

Sensing Hubs

由于情境感知通常需要来自多个传感器的输入,因此越来越需要一个智能中心。例如,在摄像头的视觉传感中,可能会拥有使用时间的数据,结构光(即在一个场景中识别深度和表面信息的投影网格或条形图),雷达和LIDAR数据,基于陀螺仪、加速计和磁力计的运动传感,以及基于若干麦克风的音频数据。

智能还原需要每个传感器还原。例如,波束成形、回声消除以及更多针对麦克风的操作融合上从运动传感器中取得的空间定位,从而最终实现情境感知,从而实现更精准的应用场景定位。或为需要避开路径中障碍的机器人提供SLAM(同时定位和地图构建)导航。

《Business Wire(美国商业资讯》预计,从2018年到2023年,感测融合市场的CAGR(复合年增长率)几乎将达到19%,并指出智能手机和可穿戴设备的日益集成是主要的增长标志。《GM Insights》预测了类似增长,并指出未来机遇扩展到了汽车、医疗、军事和工业应用(包括机器人)中的引擎控制和ADAS(自动数据采集系统)。目前,他们认为亚太地区增长最快,尤其是受到消费者和汽车需求的推动。

Sensing Hub的技术需求

在广泛的应用中,中央处理器需要如何提供全面支持?首先,需要一系列能够并行处理多个传感器的处理器,涵盖语音、图像、推论处理和SLAM。对于低配置Hub,一个解决方案就可以管理监控(视频和音频)、运动摄像机、智能音箱和耳机,而这些设备全都需要非常节能。对于中等配置,无人机、VR/AR和家用机器人可能需要浮点支持;对于高端配置,机器人和AI需要更多神经网络能力进行更复杂的语言处理。

Hub还需要强大的软件支持。首先,应用程序必须能够从任何标准格式的训练好的网络进行映射,并优化所构建的硬件。其次,它需要一个强大的软件库,以显著支持语音拾取、自动回声消除和自适应降噪、触发关键词/短语和指令识别、计算机视觉库和SLAM,以及所有常见的视觉支持库。

结论

在通用处理中心集成感测控制以实现近传感器处理、融合和情境感知,这是一个重要机会。认为所有这些繁重工作都应该在云端或部分大型中央智能处理器中完成的想法,已经过时了。但这并不意味着我们应该把所有感测智能推向极端。

为了充分利用融合和情境感知,我们需要智能地分配智能。如果Hub无法通过线路接入网络,则需要无线支持。带有无线通信选项的传感器中枢是实现这一目标的合理方式。

责编:
来源:CEVA #CEVA#
THE END
关闭
加载

PDF 加载中...