苹果宣布将推出全新辅助功能:眼动追踪、音乐触觉和人声快捷键

更新时间:2024-05-16 23:57:45作者:橙橘网

苹果宣布将推出全新辅助功能:眼动追踪、音乐触觉和人声快捷键


此外,音乐触觉将为听觉受损用户提供在iPhone中使用触感引擎体验音乐的全新方式;人声快捷键让用户可以通过自定义声音来执行任务;当在移动的车辆中使用iPhone或iPad时,车辆运动提示(Vehicle Motion Cues)有助于减缓晕车;visionOS将提供更多的无障碍功能。这些功能结合了Apple硬件和软件的强大功能,利用Apple芯片、人工智能和终端设备机器学习,进一步推动Apple数十年来践行的为每一个人设计产品的承诺。

“我们坚信创新的变革力量能够让生活更丰富。”Apple CEO Tim Cook表示,“这就是为什么近40年来, Apple一直倡导包容性设计,将无障碍使用作为我们设计硬件和软件的核心。我们正在不断突破技术的界限,这些新功能反映了我们尽可能向所有用户提供最佳体验的长期承诺。”

由人工智能支持的眼动追踪为用户提供了只需双眼即可使用iPad和iPhone的内置选项。眼动追踪是专为残障用户设计的功能,只需几秒钟即可设置和校准前置摄像头,并通过设备端机器学习功能,将设置和控制此功能的所有数据安全地保存在设备端,不与Apple共享。

眼动追踪可在iPadOS和iOS应用程序中运行,不需要额外的硬件或配件。通过眼动追踪,用户可以浏览应用程序的元素,并使用停留控制来激活每个元素,仅通过眼睛访问其他功能,如物理按钮、滑动和其他手势。


音乐触觉是让听力受损用户在iPhone上体验音乐的一种全新方式。打开此辅助功能后,iPhone中的触感引擎会随着音乐播放而体现轻拍、织体和微妙振动。音乐触觉功能适用于Apple Music中的数百万首歌曲,并将作为API提供给开发者,使更多用户能够体验他们app中的音乐。

iPhone和iPad用户可以通过人声快捷键,为Siri添加自定义话语,从而启动快捷方式并完成复杂任务。另一个新功能,倾听非典型语音(Listen for Atypical Speech),提供了增强语音识别范围的选项。倾听非典型语音功能使用设备端机器学习来识别用户的语音模式。这些功能专为因脑性麻痹、肌萎缩侧索硬化症(ALS)或中风等而影响语言功能的用户设计,基于iOS 17中引入的功能,为无法言语或面临言语能力风险的用户提供了新的个性化和控制功能。


“人工智能有潜力改进数百万非典型言语使用者的语音识别能力,我们也很高兴看到Apple能将这些新的辅助功能呈现给用户,”伊利诺伊大学厄巴纳-香槟分校贝克曼高级科学与技术跨学科研究中心的语音辅助项目负责人Mark Hasegawa-Johnson说道,“语音辅助项目旨在为公司和大学提供广泛的帮助和社区支持,使语音识别更加稳健、高效,而Apple作为辅助功能的倡导者之一,促进了语音辅助项目的落地。”

车辆运动提示是一项适用于iPhone和iPad的全新功能,可帮助乘车用户减少晕车。研究表明,晕车通常是由于人们所见与实际感受间的感官冲突引起的,这可能会导致一些用户在乘坐行驶中的车辆时无法舒适地使用iPhone或iPad。车辆运动提示会在屏幕边缘显示动画点,代表车辆运动的变化,以帮助减少感官冲突,同时不干扰主要显示内容。


使用iPhone和iPad的内置传感器,车辆运动提示可以识别用户是否在移动的车辆中,并给出相应的回馈。该功能可以在iPhone上设置为自动显示,也可以在控制中心中打开和关闭。

CarPlay即将推出的辅助功能包括语音控制、色彩过滤和声音识别。通过语音控制,用户仅用声音即可使用CarPlay和操控app。


通过声音识别,听力受损的驾驶员或乘客可以打开警报功能,收到汽车喇叭和警报声的通知。色彩过滤器让色盲用户更轻易地使用CarPlay界面,还提供了粗体文本和大号文本等其他视觉辅助功能。

今年,visionOS推出的辅助功能包括全系统的实时字幕,帮助包括听力受损用户在内的所有用户实时理解交谈和app音频中的对话内容。有了visionOS中FaceTime的实时字幕功能,更多用户可以使用自己的Persona轻松联系和协作,享受独特的体验。


Apple Vision Pro将在Apple的沉浸式视频中增加使用窗口栏移动字幕的功能,同时还支持其它Made for iPhone (MFi) 的助听设备和耳蜗听觉处理器。视觉辅助功能的更新将包括添加“减少透明度”、“智能反转”和“减弱闪烁灯光”功能,以便低视力或希望避免强光和频繁闪烁的用户使用。

这些功能同Apple Vision Pro已有的数十种辅助功能一起,提供了灵活的输入系统和为广大用户群体设计的直观界面。旁白、缩放、色彩滤镜等功能可以为视力受损用户提供使用空间计算的能力,而引导式访问等功能则可支持认知障碍者使用。用户可以通过眼睛、手或声音的任意组合来控制Vision Pro,辅助功能中还包括开关控制、声音操作和停留控制,这些功能也可以帮助到残障人士。


对于视力受损的用户,旁白将加入新的语音、灵活的音量转子、自定义音量控制以及在Mac上自定旁白键盘快捷键的功能。

放大器将提供新的阅读模式,并通过操作按钮轻松启动检测模式。

盲文用户可以用新的方式来启动和保持盲文屏幕输入,提升控制和文本编辑速度;盲文屏幕输入现支持日语;支持使用盲文键盘输入多行盲文,以及选择不同的输入和输出方式。

对于低视力用户,悬停输入将放大在文本框中输入的文字,并以用户首选的字体和颜色显示。

对于有失去言语能力风险的用户,个人声音将推出普通话版本。发音或阅读完整句子有困难的用户现可使用缩短的句子来创建个人声音。

对于言语障碍的用户,实时语音将包括分类以及与实时字幕同时兼容的功能。

对于残障用户,虚拟触控板的辅助触控功能可让用户将屏幕上的一个小区域作为可调整大小的触控板,从而控制设备。

切换控制现在能让iPhone和iPad的摄像头识别手指点击手势,以此作为开关。

语音控制将支持自定义词汇和复杂单词。

本文标签: 眼动  语音识别  音乐  应用程序  快捷键