沙发、桌子、袖子等都可以变成使用密歇根大学开发的新型传感系统的计算机高保真输入设备。

(资料图)

该系统重新利用了新型骨传导麦克风(称为语音拾取单元(VPU))的技术，该麦克风仅检测沿物体表面传播的声波。它可以在嘈杂的环境中工作，沿着奇怪的几何形状，如玩具和手臂，以及柔软的织物，如衣服和家具。

该系统称为SAWSense，对于它所依赖的表面声波，该系统可以识别不同的输入，例如点击，划痕和滑动，准确率为97%。在一次演示中，该团队使用普通桌子来替换笔记本电脑的触控板。

“这项技术将使您能够将身体的整个表面视为交互式表面，”计算机科学与工程博士候选人Yasha Iravantchi说。“如果你把设备放在手腕上，你可以在自己的皮肤上做手势。我们有初步发现证明这是完全可行的。

点击、滑动和其他手势会沿着材质表面发送声波。然后，系统通过机器学习对这些波进行分类，将所有触摸转换为一组强大的输入。该系统于上周在 2023 年计算系统中的人为因素会议上发表，并获得了最佳论文奖。这项工作还作为 2023 年 CHI 计算系统中人为因素会议论文集的一部分发表。

随着越来越多的对象继续采用智能或连接技术，设计人员在尝试为其提供直观的输入机制时面临着许多挑战。Iravantchi说，这导致输入方法(如触摸屏)以及机械和电容式按钮的大量笨拙合并。触摸屏可能成本太高，无法在柜台和冰箱等大型表面上启用手势输入，而按钮只允许在预定义位置进行一种输入。

过去克服这些限制的方法包括使用麦克风和摄像头进行基于音频和手势的输入，但作者表示，此类技术在现实世界中的实用性有限。

“当有很多背景噪音，或者用户和相机之间有东西时，音频和视觉手势输入不能很好地工作，”Iravantchi说。

为了克服这些限制，为SAWSense供电的传感器被安装在一个密封的腔室中，该腔室甚至可以完全阻挡非常大的环境噪音。唯一的入口是通过质量弹簧系统，该系统在外壳内传导表面声波，而不会与周围环境中的声音接触。当与团队的信号处理软件结合使用时，该软件在将数据输入机器学习模型之前从数据中生成特征，该系统可以记录和分类对象表面的事件。

“还有其他方法可以检测振动或表面声波，例如压电传感器或加速度计，”UM电气工程和计算机科学副教授Alanson Sample说，“但它们无法捕获我们需要区分滑动和划痕之间的广泛频率。

VPU的高保真度使SAWSense能够识别用户触摸事件之外的表面上的各种活动。例如，厨房台面上的VPU可以检测切碎，搅拌，混合或搅拌，以及识别正在使用的电子设备，如搅拌机或微波炉。

“VPU在感知明确定义的区域中发生的活动和事件方面做得很好，”Iravantchi说。“例如，这允许智能对象附带的功能，而没有感知整个房间的标准麦克风的隐私问题。

当多个VPU组合使用时，SAWSense可以实现更具体和更敏感的输入，特别是那些需要空间感和距离感的输入，如键盘上的键或遥控器上的按钮。

此外，研究人员正在探索将VPU用于医学传感，包括拾取细微的噪音，例如关节和结缔组织移动时的声音。VPU提供的高保真音频数据可以实时分析一个人的健康状况，Sample说。

该团队已在UM创新伙伴关系的协助下申请了专利保护，并正在寻找合作伙伴将该技术推向市场。