9月21日,PICO展示近期遭泄露的新手柄,并对外发布了其自研的Centaur多模态融合追踪算法。
如前期谍照所示,PICO新手柄去掉了外围灯环的设计,并且没有额外增加传感器。据PICO官方透露,相比上一代手柄,新手柄重量减轻了约15g,高度减小了50%,并且还优化了内部电池和马达的位置,使其重心更靠近手心,握持手感更好,且兼具细腻振感。
通常,去掉包含LED灯的追踪灯环,势必会降低手柄的追踪精度和稳定性。而PICO全新自研的Centaur多模态融合算法,融合了光学追踪算法和CV模态手柄追踪算法,让手柄在LED灯减少或处于盲区的背景下,也能实时、有效追踪。
自研Centaur多模态融合追踪算法
VR设备的轻量化和小型化,一直是XR行业探索和努力的方向。
基于当前行业主流的“光学追踪+惯性导航系统”追踪方案,开发无灯环手柄会面临两大技术难点:首先,减少LED灯的数量,会影响光学追踪的稳定性;其次,更少的LED观测数量,会增大手柄初始化与追踪解算难度。但如果在手柄上增加新的传感器,这又会提升造价成本,并增加手柄的耗电速率。
*PICO 4系列手柄与PICO 全新研发的无灯环手柄
PICO全新自研的Centaur多模态融合追踪算法,将光学追踪算法和CV模态手柄追踪算法进行了有效融合。这不仅解决了无灯环手柄「识别难」的问题,也为XR行业的追踪交互提供了新的思路。头显既能通过光学追踪算法识别手柄上LED灯发出的红外光,还能够在LED灯被手部遮挡时,通过CV模态追踪算法识别裸手的特征,从而准确还原出手柄控制器的6DoF信息。两大算法结合手柄本身具备的惯性导航系统,使得新手柄无需增加新的传感器,也能实现稳定、精准的追踪。
创新技术研发思路
为了率先实现Centaur多模态追踪算法的产品化,PICO组建了跨部门的攻关小组,包括手柄追踪算法团队、裸手追踪算法团队和交互数据团队。经过多次论证后,最终实现了一套基于神经网络的多模态手柄追踪框架,其融合了惯性测量单元(IMU)、光学传感器和手部图像信息。
* PICO Centaur多模态融合算法 模型
在框架设计中,手柄追踪算法团队负责提升光学追踪的稳定性,并搭建算法框架;裸手追踪算法团队设计了SOTA端到端的6DoF位姿估计模型,提升手部追踪的稳定性;而交互数据团队则通过自研多源三维数据采集设备与高精重建算法,提供大量标注数据。
这样的追踪系统,不仅能基于红外 LED 实现高精度追踪,还能够利用裸手检测“隔山打牛”。为了验证效果,PICO还联合极客玩家进行了极限测试,在音游、游动健身等对追踪精度要求极高的场景下,该算法的追踪效果都可媲美PICO 4的HyperSense振感手柄。
搭建全方位自研体系
PICO Centuar多模态追踪算法的推出,得益于PICO在两大核心算法上的技术积累。PICO Neo3和PICO 4两代产品的打磨,帮助PICO 在光学追踪领域积累了扎实的技术。与此同时,PICO 在裸手追踪上也持续探索,相关技术已位列全球第一梯队。PICO通过不断优化端到端的时序模型、千万级高精训练集以及MTP延迟测试方案,在算法延迟与追踪丢失率方面实现技术突破,在游戏、运动等快速甩动手柄的场景下,给用户带来流畅且稳定的体验。
而这些技术创新背后,是PICO独立自研的高精度数据平台,以及专业的测试平台。
比如为了生产更符合开发需求的高精度裸手姿态数据,PICO一方面采用了业内领先的基于相机阵列的自研多视角手部姿态标注技术,另一方面针对该特定任务进行预重建,进一步提升手部姿态数据的精度。这无疑为算法的训练,提供了强大的支撑和助力。
*PICO多模态同步相机系统 采集高精度数据
近期,PICO交互数据实验室团队的研究发现,被国际顶级会议ICCV 2023成功收录,包含了一篇Oral论文和三篇会议论文。这些涉及高效数据获取、高精度数据标注、数据应用等方面的实践研究,也代表了国际计算机视觉领域的最新成果。
*PICO交互数据实验室的研究成果,被国际顶级会议ICCV 2023收录
作为全球领先的XR品牌,PICO 凭借前瞻性的技术意识和充分的技术积累,创新研发了多模态的融合追踪算法,为行业AI交互提供了全新思路,也进一步助推了手柄的轻量化,为用户提供更符合人体工学,且兼具细腻振感的交互体验。
举报 0收藏 0打赏 0评论 0分享 0
更多>同类资讯
聚焦虚拟制作新场景，打造商用显示新未来：三星The Wall IVC系列新品上市，继续扩大在虚拟制作领域的领先优势
VP(Vritual Production)是指在虚拟摄影棚通过LED显示屏动态模拟各类场景背景的新一代影视制作技术。相比较于传统的影视制作方法，这种技术达到了真正意义上的“所见即所得”式拍摄，可以为实景提供高还原度的动态环境光照，为主创人员带来逼真的沉浸式拍摄体验，极大优
09-21
量子位「MEET 2024智能未来大会」要来了！还有份年度评选等你参与
组委会 发自 凹非寺量子位 | 公众号 QbitAI新起点!这就是2023年智能变革、科技日新的集中感叹。因为这一年来，所有科技公司仿佛都站到了一个新起点，围绕着生成式AI摩拳擦掌，力图的就是一个变革。而当大热潮回归冷静期，“余温”下的科技企业们也不得不直面一个现实且
09-21
近在咫尺的品质服务，联想服务让您畅享无忧
金秋9月接近尾声，期待的小长假即将来临，联想服务“职场福音计划”也正式亮相。来酷直营门店服务全新升级，您将享受到线下线上的优质臻心服务，为您带来贴心舒适的服务体验。此外，在国庆小长假期间，联想还准备了超多假期好礼和活动礼遇与您共度一个愉快的假期。快来
09-21
让摄影修图成为享受！5K专业显示有什么特别魅力？
修图对于摄影师来说，是一件非常享受的事情，在大屏幕上看着自己的摄影作品，朝着理想效果一步步变化，确实非常开心和满足。但色彩不准、精度不够的显示器会降低这种修图体验感，甚至改变摄影创作方向。狼族摄影也多次为大家介绍过专业摄影显示器知识，让大家明白了显示
09-21
进阶由外至内 三星Galaxy Z Fold5带来先锋折叠屏体验
在过去的四年里，三星Galaxy Z Fold系列折叠屏手机以其独特设计和卓越性能，一直在市场中占据着主导地位，并通过不断革新的体验，加速人们生活方式升级。如今，三星新一代折叠屏旗舰Galaxy Z Fold5凭借领先的工业设计能力、深入场景的软硬件升级，实现了由外至内的全面
09-21
心系天下三星W24：以创新科技书写美之大成
自古至今，无论对于人还是器物来说，“内外兼修”都是值得称道的典范标准，这也是心系天下三星W系列的十六代传承之本。自诞生之初，心系天下三星W系列就始终兼顾外在美学享受与内在科技力量，日前问世的新品心系天下三星W24，更是集前十五代产品之大成，以陶瓷工艺和精
09-21
TVP专家谈腾讯云 Cloud Studio：开启云端开发新篇章
导语 | 近日，由腾讯云 TVP 团队倾力打造的 TVP 吐槽大会第六期「腾讯云 Cloud Studio」专场圆满落幕，6 位资深的 TVP 专家深度体验腾讯云 Cloud Studio 产品，提出了直击痛点的意见与建议，同时也充分肯定了腾讯云 Cloud Studio 的实力与价值，帮助腾讯云 Cloud Studio
09-21
usmile笑容加发布F10系列新品，打造数字化口腔健康解决方案
9月20日，usmile笑容加召开「再颠覆 再进化」电动牙刷告别会暨数字牙刷新品发布会，正式推出行业首款数字牙刷F10系列新品。作为全球首款搭载“软硬件技术体系”的数字牙刷，F10系列将为用户带来市面上科技感更强、体验感更好的革新体验。以智慧芯片为技术内核、强大算力
09-21
最美逆行、城市建设…宝藏商家让世界向美好更进一步
时代向前，中小企业在壮大自身、经营发展过程中也不断发生着变化，越来越多的企业日益关注到创造社会价值的重要意义，将利润追求与社会责任相结合，为商业行为注入正能量。“因义而利、商业向善”成为众多企业的一条重要经营理念。随着“了不起的改变”百度爱采购明星企
09-21
贴心牙齿“护理师”，可菲可丽洁白冲牙器5大模式洁齿更护龈
上周陪朋友去种牙，看着大几千一颗牙的价格，我陷入了沉思。朋友说后悔没好好保护牙齿，牙被龋坏了只能花大价钱来种，我看着也只能替她惋惜。朋友的前车之鉴，也让我开始重视口腔健康。其实我的牙齿状况也不是很乐观，不仅牙黄、口气大不说，去年还补了牙，医生嘱咐我多
09-21
共建数字广西，共赴数智未来！2023广西鲲鹏昇腾人工智能产业生态大会成功举办
9月19日，由南宁市大数据发展局主办，华为技术有限公司、南宁产业投资集团有限责任公司共同承办的“2023广西鲲鹏昇腾人工智能产业生态大会”在南宁成功举办。自治区大数据发展局二级巡视员杨俭，华为全球数据中心Marketing与解决方案总裁邱峰，广西壮族自治区信息中心副
09-21
华为平板十年全球发货量超1亿台，十年大作即将开售
2023年9月19日，华为官方发布了全新HUAWEI MatePad Pro 13.2''预热海报，并预告这款13.2英寸旗舰新品将于9月25日在华为秋季全场景新品发布中亮相。新品海报中HUAWEI MatePad Pro 13.2''被三指轻松握持，并配文“十年大作，‘巨幕’登场”。不难看出，此
09-21
神州数码携全栈创新智算基础设施解决之道，论道亚布力智能制造发展论坛
9月20日，以“智能制造与高质量发展”为主题，2023世界制造业大会——2023亚布力智能制造发展论坛成功举办。作为论坛承办单位之一，神州数码携旗下神州鲲泰，与众多企业家一道共赴“江淮之约”，共同把脉“科技创新与中国智造”，并首度解析神州鲲泰“创新智算基础设施
09-21
WMC2023第二届世界元宇宙大会在上海开幕
2023年9月20日，以“虚实相生，产业赋能”为主题的WMC2023第二届世界元宇宙大会在上海安亭隆重举行。大会由中国仿真学会、中国指挥与控制学会和北京理工大学共同主办，上海市嘉定区安亭镇人民政府和中国仿真学会元宇宙专业委员会共同承办。工业和信息化部科技司副司长任
09-20
“信息技术创新榜”网站正式上线，助推我国信息技术高质量发展
9月15日，在与2023世界计算大会同期举办的“信息技术产品供应链论坛”上，工业和信息化部电子第五研究所(简称“工信部五所”)宣布赛宝优选“信息技术创新榜”网站正式上线运行。该网站旨在通过“以评促优、以评促强”的提质增效模式，帮助信息技术创新企业提高产品质量
本文链接：http://www.28at.com/showinfo-28-1048-0.html自研多模态追踪算法，PICO 为「手柄小型化」找到新思路你都知道哪些？
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
