PICO✖️李玟!国内首场明星6DoF全虚拟VR演唱会:取舍之间算力仍是困扰

在虚拟世界中徜徉已经不是梦,1月7日,21:00,CoCo李玟“千禧之境”全虚拟VR演唱会在PICO视频上线。

据了解,这次国内首场明星6DoF全虚拟VR演唱会,也是PICO首次尝试制作集6DoF、全虚拟场景和实时动捕技术于一体的VR视频内容。

这次演唱会长达50分钟,主题从搭乘“时光列车”穿越至千禧年代“解救”李玟为故事主线展开,从“奇幻热烈的东方之境”“复古动感的DISCO舞池”,到“拾光之遇的回忆梦境”“摇摆热烈的狂欢乐园”四大主题场景展现。

图片来源:演唱会截图

《每日经济新闻》记者现场体验这场演唱会发现,时间长导致的头晕眼晕、丢点、穿模等VR体验中常常出现的问题,在此次体验中没有出现。技术人员告诉记者,这一体验的升级源于此次使用了6DoF技术,并且采用了录播的形式。

6DoF技术让使用者体验更好,但PICO视频内容制作经理艾文、PICO视频虚拟业务产品经理陈晨却告诉记者,6DoF技术并没有非常高深的技术门槛。

目前PICO视频中已经上线了不少6DoF剧本类的视频内容以及动态漫画。对于此次演唱会而言,难点在于算力的分配与权衡。

东方财富证券的一份研报认为,内容生态是VR行业健康发展的基底。

此前,PICO新品PICO 4发布会之后,有行业人士告诉记者,对比来看,PICO的内容建设是短板。而内容恰恰是推动PICO硬件销售的重要抓手。艾文、陈晨在接受采访中也表示,PICO的目标也是通过内容拉动硬件销售,这个模式“已经证明是有明确验证和收益的”。

联合明星创造全新的原创内容,因此成了PICO打造内容的明确方向之一。

50分钟演唱会背后

此次演唱会选择的是录播而不是直播。PICO方面解释称,没做实时直播的原因,不是技术门槛达不到,而是想带来一个更好的视觉体验。

据了解,此次PICO团队前期测试了直播。“但直播对服装要求设计、现场的互动和舞蹈设计,就不能像本场演唱会体现得如此复杂,就像我们这次在经过动捕之后发现,李玟在本次演唱会中一些舞蹈、走位的表现非常复杂,如果针对这种程度的内容去做直播,风险还是很高的。”PICO方面表示。

事实上,此次演唱会的工程量不小。据了解,此次演唱会分为策划、美术执行和研发技术三大阶段,PICO团队花了半年的时间制作完成。

演唱会场景图 图片来源:企业供图

在策划阶段,团队需要完成脚本形态从平面到360度全景。与传统演唱会所需要的平面脚本不同,这次创作团队需要为6DoF全虚拟演唱会打造360°全景脚本,包括空间的前后左右上下、演员走位,周围环境变化等,脚本需要十分细致。

美术执行阶段被形容为非常复杂。相比传统的演唱会,动作捕捉在美术执行阶段同时进行,通过对真人语音和动作捕捉制作虚拟形象,艺人的编舞动作会根据实际呈现情况进行细节调整,因此前期搭建的场景、模型和特效等也随之调整。

此次演唱会分为四大场景,可以说,这四个场景“凭空而起”,所有内容都是由美术团队从无到有制作而成。

在体验中记者发现,这四大场景中不少细节可以让体验者更沉浸在这一场景之中。比如可以发射的萤火虫、手上可以发出光线的宝莲灯等,兼具照顾到了互动效果。

在最后的研发和技术阶段:则需要在VR一体机性能与效果之间完成平衡和取舍。研发人员需要用一条timeline把美术、动捕等所有的资产贯通,同时把用户的交互放在技术轨道里。

PICO现场分享认为,此次产研部分有两大难点。其一,所有的虚拟场景和模型特效是由VR一体机渲染完成的,所以对性能要求非常高,为了保证设备高性能流畅运转,PICO最终在研发与美术方面需要做好性能和效果的平衡。

其二难点是6DoF体验中体验者“自由”状态更高,如何引导体验者看到最合适的角度、体验到最好的效果也是难点之一。

此次6DoF技术受到了媒体的关注。但艾文与陈晨表示,这个技术并不是非常高深的门槛。3DoF和6DoF是常常挂在VR开发人员口中的词。

DoF是degree of free的缩写,可以理解为体验中的自由维度。3DoF可以让体验者在VR游戏机中实现前/后、上/下以及左/右,三个维度的移动。

6DoF则在3DoF基础上加了三种旋转运动:横摇(Roll)、纵摇(Pitch)和垂摇(Yaw),这样给了体验者观看同一个内容不同的观看角度,自由度更高。

6DoF也是目前VR内容的主流解决方案,正在被广泛应用中。目前,PICO视频中已经上线了非常多6DoF剧本类的视频内容,以及动态漫画。

算力、内容与商业化

“我们开始设计了很多很漂亮的特效,但到最后实际落地的时候,我们发现还是高估了对性能的预期,后面砍掉了很多效果,也换了制作方式。”PICO制作团队坦言。

在整个访谈环节中,PICO方面提到过多次算力的重要性。比如在美术呈现与最终落地之间的取舍、在直播与录播之间的取舍。

被问及演唱会现场容纳用户的数量时,PICO方面表示,这又是一个取舍的过程。

“PICO一体机的算力有限,当你分了更多的算力给李玟、场景与特效,那用户形象分到的算力就少了。理论上,我们当然可以放很多用户来营造类似于线下演唱会的氛围感,但这样会压榨其他表现内容的性能,所以我们只能做一个权衡,类似于大概20人的同房间人数。”PICO方面表示。

这也是目前整个VR行业的瓶颈之一。此外动捕的实时直播也是目前这一行业明确的硬件技术瓶颈,亟待攻克。

PICO方面也透露,未来会很快上线一个小型偏日常直播,未来也许会做大型虚拟人的实时直播。

在与字节跳动结合之后,PICO也承载了字节在AR、VR这个方向的探索,其商业化的动作更为频繁,进度加快。

在去年9月PICO 4发布会上,字节跳动副总裁杨震原接受记者采访时表示,字节在PICO上也有很大投入,包括资金与技术层面。

比如整个PICO团队规模在一年的时间翻了好几倍,目前达到了1000多人,其中研发人员占比近80%。字节提供的算法积累及工程师加入,对底层系统的技术给出了更多算法支持,此外,PICO内容团队中不少人来自游戏引擎公司。

在那场发布会上,PICO总裁周宏伟已经将内容能力作为对于PICO未来的建设方向之一。此次PICO方面也表示,PICO的目标也是通过内容拉动硬件销售,这个模式“已经证明是有明确验证和收益的”。

算力决定了内容的呈现细节程度,细节决定了体验感,并可以促进商业化。VR领域的商业逻辑并不复杂。这其中的基础,算力主要由运算芯片决定,运算芯片影响适配软件规模与帧率。

目前VR领域的技术革新,主要依靠其他行业技术突破。除了一体机自研之外,PICO与另一家一体机厂商Quest,都是采用的高通芯片,META也在推动与高通合作,并与Valve脑机接口产品在研;另一家一体机玩家STEAM则采用的是AMD芯片。

久谦中台专家纪要显示,VR领域,2021年主要的发展瓶颈在于硬件体验,而随着硬件的不断迭代,在2022年下半年之后,VR行业目前主要发展的瓶颈变成了软件体验。

从零开始构建的新世界,VR世界仍在建设中。

打开APP阅读更多精彩内容