苹果 VR/AR 新专利：用神经网络模拟全身动作，让 VR 无线传输更快

发布于：2021/7/16 9:47:06 | 4404 次阅读

[转载]原文链接：http://news.eccn.com/news_2021071514101553.htm

近日，苹果的两项 VR/AR 相关新专利得到了美国专利商标局（U.S. Patent and Trademark Office）授权。
第一项专利是“生成身体姿势信息（Generating body pose information）系统”。该系统通过收集身体各个地方的信息，然后利用这些信息打造用户的虚拟化身（avatar）。第二项专利是“自适应无线传输（Adaptive wireless transmission schemes）系统”。该系统处理 VR 头显设备和主机之间的通信。
据悉，苹果正在开发 AR/VR 头显，以及称为“Apple Glass”的 AR 智能眼镜。苹果正在针对人机交互领域的难题设计不同的解决方案，希望苹果头显产品可以在其他头显产品中脱颖而出。

01. 新系统通过搜集姿态信息，在虚拟世界打造一个“你”

根据专利显示，苹果新专利“生成身体姿势信息”系统可以通过摄像头、神经网络系统等方式搜集用户的姿态信息，形成一个用户的虚拟化身。
1、用神经网络系统搜集用户姿态信息
单个神经网络系统可以搜集用户姿势信息；多个神经网络系统协同工作，可以模拟用户的某个关节；最终，所有系统的信息全部汇总在一起便可以在虚拟世界打造一个用户的“分身”。
在这个过程中，不同的硬件设备都需要机器学习。因为“生成身体姿势信息”系统不仅要处理摄像机所搜集的数据，还需要让不同的神经网络系统之间“学会”信息交互。
2、神经网络系统覆盖身体全关节
神经网络系统会搜集用户身体上哪些部位的信息，苹果在专利中给出了答案。
“生成身体姿势信息”系统的信息搜集范围包括了“脖颈、肩关节、肘关节、腕关节、骨盆关节、膝关节、踝关节和指关节”。该系统不但会对每个部位的信息搜集范围做出界定，而且还会确定各部位之间的连接处在哪里。
尽管该项专利的列表里给出了所有创建用户身体模型需要的基本要素，但似乎并不是很详尽。比如说，指关节似乎只是重点指代手指，脚趾以及脚部运动似乎并没有被该系统所关注。
3、用数据打造用户虚拟化身
苹果认为，打造良好的沉浸式体验需要尽可能地搜集更多有关用户姿态的信息。因为 VR 或 AR 应用程序可能会需要依据用户的静态姿势或动态行为，为用户呈现不同的内容。比如说，VR 游戏中的守卫需要对用户不同的攻击动作做出不同的反应。
事实上，苹果希望用“生成身体姿势信息”系统控制用户在虚拟世界的化身。比如说，虚拟在线社交 VR Chat 就可能会运用到这个系统来改变用户的头像呈现方式。
02. 打通通讯壁垒，新专利使用凝视功能分配数据资源
苹果的第二项专利“自适应无线传输”系统希望能打通头显和主机之间通讯壁垒。
1、VR 头显遇通讯难题
目前市面上的 VR 头显如 Oculus Quest，尽管设计者可以通过增加头显的重量，让头显和主机之间的连接部位减少相应重量，但是，连接部位的电线本身就是一个问题。
对此，有人提出用无线通信系统减轻头显的重量，并且取消电线。但事实上，无线通信系统也会存在很多问题。
比如说，无线通信系统传输数据需要消耗设备电量，并且无线通讯系统的带宽比有线通讯更少。再比如，无线通讯系统里最常见的断连、其他设备干扰的问题。
2、新专利采用交错帧传输
面对这些难题，苹果新专利“自适应无线传输”系统提供了一种新的解决方案。
它虽然采用了无线通信系统，但是减少了一次传输的数据量。该方案要求系统传输尽可能少的视频数据。并且，这项专利选择将网络的带宽量减半，通过左右眼数据交错使用，实现交错帧数据传输（interleaved frame transmissions）。
苹果的新专利认为，数据不必传输画面的每一帧。它将画面的传输帧分成不同类，一类是需要紧急更新的画面帧，另一类是可以再次使用、没有更新、较早时间的画面帧。
3、凝视跟踪功能加持数据节流
此外，该项专利还用到了凝视跟踪功能（mention of gaze tracking）。该功能可以通过用户的凝视，优先更新用户正在查看画面的数据。不仅如此，它还通过注视点显示技术（foveated display techniques）减少用户未关注的画面细节量，再次节省数据传输。
但实现这一方案可能需要极高的帧速率（frame rates）。据苹果专利显示，由于头显在眼睛部位，所以“每秒至少达到 100 帧”。
03. 技术会不断迭代，但并不会全应用于苹果产品
此前，苹果在 VR 和 AR 领域具有很多专利申请，并且与这次两项新专利有一些技术交叉。
比如说在中央凹区域的显示技术（ foveated displays）方面，中心凹是眼睛的一个关键区域，它使人们能够以非常清晰和精确的方式看到东西。2020 年，苹果又设计了与此次类似的一个系统，该系统可以通过眼动追踪（ eye tracking）来决定将数据资源投放在屏幕哪些地方，并且可以通过凝视检测功能（using gaze detection）来确保画面是否完成更新。
再比如说，手势识别功能。2018 年，苹果的一项专利曾涉及如何利用头显下方的摄像头来监控用户的手势变化，以便系统通过手势变化管理 3D 文档。2015 年，苹果的一项专利可以通过机器视觉，远距离识别人们的手势。
苹果每周都会提交大量的专利申请，但新专利的存在仅代表苹果的研发团队对该领域感兴趣，并不能保证这些专利会出现在苹果的产品中。
04. 结语：苹果下场会带火 VR/AR 设备吗？
苹果两项在 VR/AR 领域的新专利向我们揭示了一个事实，苹果已经拥有较为成熟的、针对人机交互领域的难题的解决方案。
根据天风证券分析师郭明錤，苹果可能将在 2022 年中期推出 VR/AR 头显设备。他认为，苹果头显能否成功要看 VR/AR 应用能否提供非常顺畅的显示与操作流程。
据 IDC 称，到 2022 年，VR/AR 的市场价值约为 560 亿美元。当苹果入场头显设备时，是否能通过新的技术加速 VR/AR 设备落地，我们静观其变。

参与讨论

登录后参与讨论

//评论区

推荐阅读

智能网联汽车国际标准法规协调专家组（HEAG）召开工作会议

近年来智能网联汽车快速发展，新技术不断涌现，与相关产业融合度持续提升，正在推动全球汽车产业发生深刻变革。为应对此种形势，欧、美、日等汽车工业发达国家和地区都加大了智能网联汽车的国际标准法规协调的参与力度，在联合国世界车辆法规论坛(UN/WP.29)和国际标准化组织(ISO)层面，智能网联汽车相关国际标准法规协调活动正快速推进。为更有效地支撑上述组织的国际标准法规协调活动，2017年全国汽车标准

0215jiejie | 发布于：2022-12-01 0评论 0赞

苹果推出搭载M2芯片的新款iPad Pro 799美元起售

据苹果官网，苹果推出搭载M2芯片的新款iPadPro。 11英寸wifi版起售价为799美元，wifi+蜂窝网络版起售价为999美元；12.9英寸wifi版起售价为1099美元，wifi+蜂窝网络版起售价为1299美元。

0215jiejie | 发布于：2022-10-19 0评论 0赞

新能源汽车领衔 “中国智造”加速登陆欧洲市场

全球五大车展之一巴黎车展时隔四年再度启幕。在这场被视为“全球汽车行业风向标”的盛会上，国内外汽车品牌云集，长城汽车、比亚迪等再次领衔中国汽车出海。长城汽车欧洲区域总裁孟祥军表示：“欧洲是长城汽车最重要的海外市场之一，巴黎车展是长城汽车向欧洲市场展示GWM品牌和产品的最佳机会。长城汽车正在研究汽车行业碳排放的整个生命周期，到2025年，将推出50多款新能源产品，全力支持可再生能源使用，为全球用户

0215jiejie | 发布于：2022-10-19 0评论 0赞

严监管时代来临，电子烟“通配”大战走向何方？

针对通配烟弹厂商的一系列诉讼的结果，将对生产通配烟弹的品牌未来在电子烟行业的发展产生深远影响。 10月1日，《电子烟强制性国家标准》正式实施，中国电子烟监管全面生效。而在电子烟行业进入规范化、法治化阶段前夕，一场围绕着通配烟弹的争论在行业里发酵。 “通配”是电子烟从业者约定俗成的概念。换弹式电子烟由烟杆和烟弹组成，“通配”烟弹指的是非品牌商生产、可与品牌烟杆匹配使用的烟弹。多位业内人士表示，被

0215jiejie | 发布于：2022-10-19 0评论 0赞

Bourns 全新大功率分流电阻器

采用金属感应引脚，专用于大电流应用中进行精确测量全新分流电阻器专为电池管理系统、大电流工业控制和电动汽车充电站提供高可靠性、高成本效益的解决方案美国柏恩Bourns全球知名电子组件领导制造供货商，宣布新增12款CSM2F系列功率分流电阻器，扩展其产品组合。全新系列采用铆接通孔金属传感引脚，可满足大电流应用中对电压测试点精确定位日益增长的需求。最新型Bourns?CSM2F系列分流电阻器

0215jiejie | 发布于：2022-10-18 0评论 0赞

请尊重元宇宙“这个筐”

元宇宙是个筐，啥都往里装，但区别在于有的像聚宝盆，有的像垃圾桶。国庆假期刚结束，中青宝“90后”董事长李逸伦便亲自上阵，玩起了元宇宙婚礼。靠着老板首秀和代言，中青宝顺势推出“MetaLove元囍”App，正式进军元宇宙婚礼赛道。就产品而言，如同其他元宇宙产品，李逸伦的元宇宙婚礼“新奇与吐槽齐飞”：有人说是有趣的尝试，有人则认为像QQ炫舞结婚系统。要知道，QQ炫舞是一款推出了十余年的老游戏。

0215jiejie | 发布于：2022-10-13 0评论 0赞

边缘计算：突围商业模式痛点

截至8月末，中国5G基站总数达210.2万个，中国5G发展已经进入下半场。随着5G加速融入千行百业，互动直播、vCDN、安防监控等场景率先大规模落地，车联网、云游戏、工业互联网、智慧园区、智慧物流等场景也快速走向成熟，这些更大流量、更低时延、更高性能的场景涌现，对边缘计算的刚性需求势必爆发。 GrandViewResearch预测，即使在新型冠状病毒肺炎疫情肆虐全球的背景下，边缘计算和5G网络市

0215jiejie | 发布于：2022-10-13 0评论 0赞

商务部回应美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”

商务部新闻发言人10日就美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”应询答记者问。有记者问：近日，美国商务部在半导体制造和先进计算等领域对华升级出口管制措施。同时，在将9家中国实体移出“未经验证清单”过程中，又将31家中国实体列入，请问中方对此有何回应？对此，商务部新闻发言人回应称，中方注意到相关情况。首先，通过中美双方前一阶段共同努力，9家中国实体zui终

0215jiejie | 发布于：2022-10-13 0评论 0赞

TCL华星官宣与奔驰合作：推出全球首款横贯A柱的车载显示屏

今年1月，奔驰带来了VISIONEQSS概念车，其中控台采用了一块完全无缝的47.5英寸曲面显示屏，横贯整个A柱，令人印象深刻。今天，TCL华星正式官宣与奔驰达成合作，并认领了VISIONEQSS上这块全球首款横贯整个A柱曲面的车载显示屏。根据TCL介绍，这款显示屏采用了完全无缝的超薄一体化设计，将仪表盘、中控与副驾娱乐显示融为一体，并能够与3D实时导航系统相辅相成。同时，这块显示屏还采用

0215jiejie | 发布于：2022-10-12 0评论 0赞

半导体板块暴跌谁最受伤

国庆假期后首日开盘，上证综指时隔5个月再次失守3000点，与此同时，半导体板块也再度走低，其中，北方华创、雅克科技等个股跌停。10月11日早盘期间，半导体板块持续下挫，北方华创、雅克科技再度跌停。截至下午收盘，北方华创、雅克科技维持跌停状态，华海清科、拓荆科技-U、盛美上海、清溢光电、海光信息的跌幅则超10%。同日，半导体板块中的119只个股中超五成呈现下跌趋势。在半导体板块遭遇下挫的同时，北

0215jiejie | 发布于：2022-10-12 0评论 0赞

holle

外面的声音太嘈杂，听自己的心就好

关注