21世纪经济报道记者白杨 北京报道
随着过去两年线上演唱会越来越受到关注,人们也越发期待,更沉浸的VR演唱会的到来。但是,当下VR产业发展仍然面临诸多瓶颈,以现有技术做一场VR演唱会究竟能达到什么样的效果,这个尚无答案的问题,字节跳动旗下的PICO正试图作答。
1月3日,PICO宣布《李玟“千禧之境”全虚拟VR演唱会》将于1月7日上线PICO视频。据介绍,这是国内首场明星6DoF全虚拟VR演唱会,也是PICO首次尝试集6DoF体验、全虚拟场景和实时动捕技术于一体的VR视频内容。
在线下看片会现场,记者提前观看了这场VR演唱会的部分内容。演唱会中,女歌手李玟以其Avatar虚拟形象出演,而用户可以在场景中360度自由移动。另外演唱会也加入了一些互动环节,除了可以发弹幕外,用户在看演唱会的同时也能体验到换装、收集萤火虫、玩音乐游戏等交互内容。
整体而言,PICO打造的这场VR演唱会,实现了许多突破,让人们能够切身感受到VR演唱会的沉浸魅力,但同时,通过这样一场实践,PICO也看到了很多行业瓶颈,而这些,将是VR行业接下来亟待解决的关键问题。
突破
PICO视频内容制作经理艾文在接受记者采访时表示,整个演唱会的筹备阶段历时半年左右,时间相对较久,是因为这是PICO第一次做6DoF的全虚拟VR演唱会,所以在美术执行以及前期的内容策划上,都消耗了很多时间。
从演唱会的角度,整个制作过程大致分为策划、美术执行、产品研发三个阶段。第一个阶段,相比与传统演唱会所需要的平面脚本,PICO创作团队需要为这场VR演唱会打造360度的全景脚本,包括空间的前后左右、天上地下有什么、演员如何走位,周围环境有什么变化等等。
策划完成后,就是美术执行阶段。这里要分为两块,一个是线下与李玟的合作,需要录音、练舞、动作捕捉,另外是线上制作,从李玟的虚拟形象到场景,每一帧都由美术从无到有画出来,然后做模型、场景等。
在把所有美术资产都制作完成后,就进入了产品研发阶段。相对而言,这个阶段的工作也是PICO团队最擅长的,但是在制作过程中,因为所有的虚拟场景和模型特效都是由VR一体机渲染,所以创作团队需要在VR一体机的性能与效果之间完成平衡和取舍。
从技术角度,6DoF是这次演唱会的一大特色。艾文表示,6DoF和3DoF,不是非常高深的技术,只是一个标准,大家日常看到的平面视频就是3DoF,而6DoF通过前后左右的移动,可以看到对应内容不同的角度,而不仅仅是一个平面。
因此,6DoF意味着更高的自由度,这次VR演唱会中,借助PICO全新自研的6DoF光学定位系统,便完全摒弃了传统的舞台表演及固定观看区,用户可以自由移动和无限靠近场景及艺人。
除此之外,PICO在演唱会中还应用了宽频马达和空间音频等技术。其中,宽频马达可模拟场景中不同物体交互带来的不同频率的震动感,比如收集场景的萤火虫,宽频马达会有轻微的震动反馈,当列车进入不稳定的颠簸状态时,宽频马达会有更激烈的震动反馈,在进行音游互动时,还能结合音乐节奏进行反馈。
而空间音频则为用户打造了更有方位感也更真实的声音感受。比如在演唱会中,随着用户转向不同的方向,声音的声道也随之变化,另外距离舞台的远近,也会带来声音的变化。
瓶颈
但是,在演唱会的整个制作过程中,PICO团队也遇到了一些挑战。首先从演唱会的表演者来说,观众最希望看到的还是明星真人的呈现,但现在采取虚拟人的方式,是因为行业现有技术还很难做到。
PICO视频虚拟业务产品经理陈晨称,如果把李玟的真人用数字化模型的办法去做渲染,对硬件性能要求很高,这也是目前行业硬件技术的瓶颈,有待攻克。另外,行业也有一个做法是把真人用摄像的技术立体抠出来,类似于光场视频,这样也能达到6DoF效果,但目前,这个技术尚在攻坚,可能不久的将来就能尝试这种虚实结合的效果。
而在观众方面,此次演唱会支持的是约20人的同房间人数。至于为什么不能容纳更多观众,陈晨表示,如果都用PICO一体机去渲染的话,它的算力也有限。当分了更多的算力给李玟、给场景、给特效,就意味着把更少的算力留给了用户形象。所以,目前理论上也能够放很多用户来营造类似于线下的氛围感,但是这样会压榨其他内容的性能,所以只能做一个权衡。
在制作过程中,PICO团队原先设计了很多很漂亮的特效,但是到最后实际落地时,却发现高估了对性能的预期,不得不砍掉很多效果,同时也换了制作方式。“我们在制作过程中,发现PICO的机器性能要求是真的很高,以手机的发展来做类比,现在就像2018年左右的中端手机的性能,而这场演唱会光场景就8个、时装有4套、每一首歌的特效有几百种,所以对于美术团队来说,硬件性能是限制比较大的地方”,艾文说道。
另外,这次演唱会不是实时的直播,而是以视频的形式呈现。但不做直播,不是技术门槛达不到,而是为了追求更好的效果。
“在演唱会过程中,李玟换了四套衣服,这四套服装整体的设计和效果是完全不一样的,同时,李玟的走位和舞蹈也非常多。如果我们做直播,可能会出现一些不好的体验,比如很多的穿模问题”,艾文表示。
因此,PICO如果要做演唱会直播,则意味着服装设计、现场互动和舞蹈设计,都不能像现在这样复杂,但这样也牺牲掉了用户的观看体验。所以最终,PICO团队选择优先保障演唱会呈现效果。
不过,抛开演唱会这种对视觉效果要求较高的场景,PICO也会尝试去做6DoF实时的直播。据艾文透露,PICO即将上线一个小型的6DoF直播内容。
去年,从王晰、郑钧、汪峰到A-SOUL,PICO已推出多场VR演唱会,而今年的第一场演唱会,PICO就进行了较大的升级,一方面这是PICO对自身技术储备的检验,另一方面,这也可以看作是PICO构建的核心竞争力。
对VR行业来说,目前整个社会的认知度仍然处于早期,而通过优质内容带动更多用户来体验VR,也是当下VR产业教育市场的重要手段。