90后北邮毕业生开发交互式屏幕阅读器,盲人可独立操作触摸屏

“最初打算帮助残疾人,是因为我在卡耐基梅隆读博时,结识了一位从 IBM 到我们学校访问的盲人教授。和她一起去朋友家时,发现她的生活非常不方便,这也是我设计盲人屏幕阅读器的起因。”对密歇根大学计算机科学与工程系 90 后华人教授郭安鸿来说,“科技向善”是他身上抹不去的标签。

很多人都曾在课本上学习过海伦·凯勒的《假如给我三天光明》,由于失聪和失明,她只能通过触觉来学习说话,比如把手指放在老师的鼻子、嘴唇和咽喉上,去感受某个单词的发音方式。

图 | 小时候的海伦·凯勒和莎莉文老师(来源:维基百科)

一个四肢健全的盲人固然有触觉,但却因为眼盲、而无法操作那些常人可以轻松操作的键盘,比如微波炉和电饭煲的物理操作界面。对他们来说,这些操作界面的按钮,不仅在触觉上难以区分,并且屏幕上还有他们无法阅读的视觉信息。

基于此,郭安鸿研发出一款人机交互系统,来帮助盲人读取、以及使用物理操作界面上的内容。

图 | 郭安鸿(来源:受访者)

该系统包含三大块:VizLens、Facade 和 StateLens。其中 VizLens 帮助盲人通过音频指示去使用物理操作界面,Facade 使用 3D 打印技术给其提供盲文标签,而 StateLens 则可以帮助他们识别动态操作界面。

VizLens:可给盲人提供实时帮助

VizLens 是用于静态物理操作界面的交互式屏幕阅读器,它结合了按需众包和实时计算机视觉技术。

图 | 盲人使用 VizLens 操作微波炉(来源:受访者)

当盲人遇到某个无法阅读的静态界面如微波炉界面时,使用手机对操作界面进行拍照,之后 VizLens 会把照片发送给网络众包人员。

众包是一种通过互联网多人协作获得数据资源的方式,比如 Amazon Mechanical Turk 众包网站就是借助遍布在互联网上的自由职业者,通过他们完成一些细小工作,最终汇集在一起解决大型问题。

图 | 用户使用界面的操作过程(来源:受访者)

众包人员收到盲人的信号后,就会标记界面布局、并注释相关元素如按钮或其他控件,随后会描述每个元素,描绘出的图片也会成为参考图像,进而帮助计算机视觉更好地工作。

图 | VizLens 应用程序使用界面(来源:受访者)

之后,当盲人要操作微波炉界面时,只需打开 VizLens 应用程序,把手机摄像头对准界面,接着把手指悬停在界面上,这时 VizLens 会使用基于 SURF(Speeded Up Robust Features,加速稳健特征)的对象匹配技术,将众包标记的参考图像、与实时捕获的图像进行匹配,并跟踪用户的手指,进而去做检索、提供音频反馈和指导用户。

图 | VizLens 应用程序(来源:受访者)

有了这种即时反馈,VizLens 就能实时地把界面内容告诉给盲人。此外,VizLens 还权衡了众包人类智能和计算机视觉的优势,因此它对物理界面的解释能力,几乎和人工一样准确,并且它和计算机视觉系统一样快捷且低成本。

Facade:方便盲人独立读取的 3D 打印触觉覆盖层

一般来说,盲人经常在家电上贴盲文标签。基于 VizLens,郭安鸿进一步开发出 Facade,这是一款可让盲人独立读取的 3D 打印触觉覆盖层。

图 | Facade 触觉覆盖层(来源:受访者)

盲人拍摄操作界面照片时,照片中需要包含绝对尺寸的标记(fiducial marker),比如钱币或者信用卡。拍摄以后,Facade 可通过照片来恢复按钮标签尺寸信息。

接着,Facade 会用类似 VizLens 的众包方法对图像作出标记。这时,盲人可以使用 Facade 应用程序,来自定义触觉覆盖层,随后 Facade 可据此生成 3D 模型,这时使用家用 3D 打印机,即可制造出触觉覆盖层。

研究中,郭安鸿经历几次设计迭代,最终确定了最有效的覆层设计、材料配置和打印机设置,以使 3D 打印的覆层易于附着、读取和按压。

概括来说,VizLens 和 Facade 使盲人用户可以访问许多静态界面。郭安鸿又在此基础上,开发了 StateLens,这是一种用于公众信息显示屏和支付终端等动态触摸屏。

StateLens:解决误触难题

盲人一旦触碰屏幕,就很容易带来误操作,为解决此类触摸难题,针对使用过程中的意外触发因素,郭安鸿又设计出一套 3D 打印附件,即指帽和手写笔。

使用中,盲人通过手势激活所需的触摸位置,无需直接触摸屏幕即可浏览。据悉,StateLens 可在不修改触摸屏基础硬件或软件的情况下,为公共触摸屏带来 “无风险使用”,这也是可访问触摸屏交互的核心。

图 | 触摸交互设计(来源:受访者)

在对 StateLens 进行评估的过程中,他们首先通过 12 个触摸屏设备和 70K 多帧的实验视频,证明出 StateLens 可从固定视频、手持视频和网络视频中准确地重建界面。随后,再对 14 位盲人参与者做用户研究。这时,他们发现这款人机交互系统,可使盲人访问此前无法访问的动态触摸屏。

“你是我的眼”:盲人自己也可使用微波炉

谈及研发过程,郭安鸿表示:“我刚到匹兹堡时,不太熟悉当地用户和组织,但我做的是和盲人有关的项目,想要接触他们就更难。后来参加了一些当地的 meet up 活动,得知在一些图书馆里,有一些盲人在那里工作。通过这样一个滚雪球的方式,我一点点地找到了一系列用户。后面很多类似项目,我都可以去联系他们,看他们是否有时间给到一些反馈意见、试用一下我们做的产品等等。”

他说:“除了和 IBM 盲人教授相处的经历之外,通过观察图书馆盲人工作人员,也让我更加关心盲人的生活,比如说他们在使用微波炉这种物理操作界面或触屏设备的时候,有很多不方便的地方。然后我就想到可以通过计算机视觉、众包以及可穿戴设备等技术,设计一个系统,来帮助盲人用这种物理操作界面。”

图 | VizLens 在各种肤色和照明条件下都能很好地工作(来源:受访者)

系统初步完成后,郭安鸿在用户给产品做测试的过程中,非常有个人成就感。一方面系统可给盲人生活提供实质性帮助,另一方面他自己对人机交互领域的兴趣和热爱,也带来了一定的现实影响。

而在做每个项目之前,郭安鸿都会邀请盲人用户到实验室里,或去他们家里进行访谈,收集他们的痛点后、再和团队进行头脑风暴。研究过程中,也会得到盲人用户的持续反馈,获得新数据后再进行迭代,最终完成系统设计。

比如 Facade,其过程涉及到 3D 打印。那么,它到底该怎么打盲文?怎么让盲人摸到后就能识别?需不需要考虑多种颜色?如何让有一点点视力的盲人得到更好的帮助?针对这些问题,郭安鸿在收集用户反馈后,最终找到了最佳 3D 打印设置。

目前他正计划把该成果放在网上,作为免费应用供盲人使用。另一方面,微软、苹果、谷歌也在做残疾人相关的技术研究,郭安鸿之前曾和他们有过具体的合作,以后他想在这方面做更多拓展。

“毕业即教授”:28 岁拿到博士学位、并成为助理教授

郭安鸿是辽宁沈阳人,1992 年生人,小学毕业后就读于东北育才少儿班,16 岁高中毕业,随后北上并来到北京邮电大学读书,20 岁时本科毕业。

本科毕业后,他来到佐治亚理工学院读硕士,毕业后到卡内基梅隆大学读博,28 岁时博士毕业,2020 年是他博士毕业的年份,也是他在密西根大学获得助理教授教职的年份。来密西根大学教学之前,他还在微软、谷歌等公司参与过项目。

谈及过往,他表示:“我在这个过程中遇到了很多非常好的导师,参与到一些非常开眼界的项目,然后才让我一点点接触到科研,并可以独立开展这些有意思的研究。”

由于他本科是电子信息工程专业,期间曾参与一个用计算机视觉、来进行手势识别和脸部识别的控制游戏项目。后来他逐渐了解到人机交互,并且对此十分感兴趣,于是申请了一些相关项目,并一步步走上研究轨迹。

当问到是否初心不改、延续着一直以来的研究路线时,郭安鸿说:“我觉得研究路线其实一直都在变,因为时间也都在变,并且这些研究的学科也都在发展。不变的是我想要让世界变得更好,希望做的项目实际上可以帮助到残疾人,让他们的生活变得更便利。”