四年一度的世界杯激战正酣,大部分球友都不可能亲临现场,只能守在电视电脑屏幕前观看直播。试想一下,如果能通过AR技术,将世界杯的比赛,三维立体的呈现在你的桌面上,你可以近距离观看每个精彩的瞬间,自由移动位置从各个角度看球,是不是非常过瘾?
研究人员正在努力将这一幻想变成现实,他们研发出了一套“桌面足球”系统,可以将比赛的2D视频画面,通过3D形式再现,你只需要佩戴类似HoloLens的增强现实设备,就能在家里的桌面上观看比赛。
“桌面足球”的观看效果 具体实现上,研究人员会将比赛视频输入到“桌面足球”系统,该系统会仔细分析视频,并跟踪每个球员和他们的动作,然后将球员的图像映射到“从足球赛视频中提取的”3D模型上。由于分析来源是比赛视频数据,其分辨率低、球员一直在运动、且是二维的,所以想为每个球员逼真地重建3D姿势,是一项相当困难的工作。
目前实现的效果还有很多问题,包括球员的位置估计不够准确,导致在观看时会跳动。以及足球没有渲染出来,所以看起来球员在对着空气踢。
目前,该套系统还在不断优化中。该项目的研究人员之一Konstantinos Rematas表示,下一步会提高比赛画面重建的质量,包括精确估计球的位置,并更好地重建球员等。另外,研究人员还计划将这个算法框架扩展到其他运动中,如篮球、曲棍球和足球等。
该研究是Facebook、Google和华盛顿大学之间的合作项目,正在盐湖城CVPR会议上展示。
除了效果逼真的问题,个人认为还有一个重要的问题——时效性。大多数球友都追求直播看球的刺激、未知和变数,如果已经看了视频直播,想必很少有人会再看一遍“增强现实版”。此项研究通过视频分析进行三维场景构建,如果分析速度足够快,或许可以近乎达到“实时”的效果。
由于“桌面足球”系统的看球体验,在某些方面的体验甚至是超过现场的,例如距离更近,视角更灵活(现场只能坐在一个固定的地方看球)。所以还可以应用在经典赛事重温,教练分析战术等场景。
AR、AI等前沿技术,并不是第一次应用在体育赛事中,腾讯体育与“IBM AI Vision视觉大脑”合作,实时完成篮球赛事的视频剪辑工作。(NBA赛场已用到这类技术啦)
|