专访爱奇艺副总裁朱梁：虚拟制作技术如何赋能影视内容生产

自《曼达洛人》引爆了“虚拟制作”这一革命性的视听技术，国内的影视视听机构和流媒体视频创作者都积极地参与到这场影视工业化的的浪潮中来。继电影《流浪地球2》《长空之王》之后，长剧集《清明上河图密码》《云之羽》《繁花》《大梦归离》乃至短剧《柒两人生》都积极探索并成功运用了虚拟制作技术流程。其中，爱奇艺出品的《大梦归离》成为同期国内剧集项目中虚拟制作技术用量最大、周期最长、场景最多的剧集。

《影视制作》11期观潮采访了爱奇艺副总裁朱梁，探讨虚拟制作技术如何改变视听行业，旨在为业内寻求“降本增效”的制作方式与流程提供参考。

受访人：朱 梁

爱奇艺副总裁、智能制作部负责人

作为流媒体平台，爱奇艺始终在拥抱新的技术和内容生产方式。《曼达洛人》等应用虚拟制作技术的剧集作品在海外播出后，爱奇艺敏锐地捕捉到了这一内容制作趋势，开始关注LED屏前拍摄的虚拟制作技术。

2020年底，爱奇艺在河北大厂投资建设了包括硬件在内的一套XR虚拟制作系统。2021年3月，这一系统被应用到《THE9 虚实之城》直播虚拟演唱会中，演唱会采用3个虚拟机位和多个特写机位，实现连续2个小时、300个用户实时上屏的互动式虚拟无延时直播。

同年，爱奇艺开始了将虚拟制作技术用于影视内容生产的探索，并在11月发布了两支实验性质的短片。《不良井之风云再起》是爱奇艺复用剧集《风起洛阳》中“不良井”的高精度数字场景所制作的国内首支4K影视级虚拟制作实验片，全片采用真人屏前拍摄的方式完成；MV《心念》的制作则将“小茉莉”这一衍生虚拟角色放到“不良井”数字场景中，由动作演员驱动数字角色，属于纯虚拟动作捕捉方式制作完成的动漫类内容。

朱梁表示，这两个项目完成了实景扫描-资产重建-虚拟拍摄-精修入库-多业务复用的制作流程示范，也代表了爱奇艺在真人拍摄和纯动漫两个虚拟制作的应用方向。

从《云之羽》到《大梦归离》

技术与艺术的双向奔赴

为了靠近制作一线，2022年爱奇艺带着一块屏幕跨越了1200公里，在横店建立了2400平米的虚拟摄影棚。同年10月，爱奇艺在剧集《妖狐小红娘月红篇》的拍摄中引入了虚拟制作，这是国内首次将虚拟制作技术用于商业剧集的拍摄。

《妖狐小红娘月红篇》中虚拟拍摄应用

朱梁认为，这个项目的突破之处在于让业界的创作者、制片人和导演真正开始尝试用虚拟制作完成一个商业剧集。在这个过程中，技术和流程都更趋于标准化，爱奇艺也快速完善了自己的技术与人才积累。

更多希望通过技术实现创意落地的创作者，开始了与爱奇艺虚拟制作团队的接触。2022年底，在距离《云之羽》开拍不到2周的时间里，导演与朱梁团队专门就虚拟制作展开了一次沟通，并在会后非常积极地希望用虚拟制作来完成《云之羽》中架空场景的拍摄。

经过评估，爱奇艺虚拟制作团队与主创排除了一些由于调度很难实现或者成本过高的场景，最终确定在无锋总部首领室、云为衫房间、上官浅房间等多个场景使用虚拍。在这次实践中，爱奇艺与包括美术指导、摄影指导、灯光指导在内的主创团队深入合作，挖掘影视拍摄的真实需求，在技术层面实现了多项创新。

比如，通过UE深度融合的方式，技术团队实现了虚拟和真实灯光的联动，自研了虚拟景深优化算法、虚实灯光匹配算法等多项专利技术。此外，通过创造性地加入真人动捕技术，让屏内角色和屏外真人实现了实时互动。

由于视觉效果超出预期，剧集上线后观众反响也非常好，很多观众乃至专业人士反馈“根本看不出来是虚拍。”率先吃螃蟹的一批主创深刻感受到了技术对创作明显的提质增效。根据官方数据，《云之羽》的虚拟制作场次的拍摄效率相较传统方式，提升了30%。

《云之羽》 的虚拟制作使得拍摄效率大大提升

有了这样的合作基础，在接下来的《大梦归离》中，原班主创才敢于进行更大规模、更高难度的虚拟制作应用。据朱梁介绍，《大梦归离》筹备期有三个月左右，2023年10月份开始进入了正式拍摄，整个拍摄周期5个月左右。其中共有七个大场景和三十余种气氛采用了虚拟制作技术，LED棚内实际拍摄时间共三周。

《大梦归离》的虚拍场景涵盖各种类型，既有奇幻宏大的室外场景又有精致真实的室内场景。其中，气氛对叙事起到了很大帮助，例如“大荒海边”这一场景中，氛围就极为多变，日、夜、晨、昏、崩塌、血月等都是实景中不可能完成，绿幕后期也无法胜任的奇幻天象。爱奇艺充分发挥了LED虚拟制作“提效”的优势，将全部气氛集中在棚内高效完成，达到了“所见即所得”的逼真效果。

《大梦归离》 “大荒海边”场景气氛概念图与实拍对比

此外，在技术团队和主创的努力下，国内首次实现了大面积水面反射的虚拟拍摄，“月亮桥”场景的虚拟烟花在实景水面中呈现得极为真实自然。在拍摄“卓翼宸房间”场景时，团队还实现了屏上虚拟雨雪与实景雨雪在形态、大小、速度、密度上的自然融合，主创们也对这种全新的创作体验感到十分兴奋。

《大梦归离》 拍摄现场

在拍摄过程中的不断磨合，让剧组逐渐形成了用虚拟制作来解决创意落地问题的习惯。在海岛拍摄一段时间后，导演发现实景拍摄会严重受制于地形和潮汐的影响。因此提出将“大荒海边”这一场景搬到虚拟摄影棚内来。为此，虚拟制作团队对海滩实景进行了扫描及数字资产重建，同时美术用岛上的石头在屏前搭建了一部分前景，在虚拟棚内复原了海边的景观。

朱梁分享到，在正片剪辑时，大荒海边的相关素材既有实景拍摄的片段，也有虚拟制作的片段，即使是处理素材的DIT和剪辑师这样的专业人士也常常无法区分。

《大梦归离》 虚实景的结合

截至目前，《大梦归离》是国内已上线剧集中虚拟制作用量最大、难度最高、场景最多的商业剧集。互相启发、双向奔赴，技术支撑了想象力的落地，想象力又进一步推动技术实现突破。

从硬件到算力的升级

虚拟拍摄效率大大提升

在拍摄中发现痛点、解决痛点，爱奇艺虚拟制作持续进行着硬件、软件和算力的升级。

由于《大梦归离》的虚拍方案将LED幕墙搭建成弧形，在设计幕墙附近的照明方案时，需要更为仔细地控制光区。如果灯光直接照到LED屏幕上，会导致屏幕反差降低，黑色发“灰”，显得很“假”。但如果照度不足，又会导致衔接处不够亮，产生“暗带”。为了找到合适的灯具类型和灯头附件，爱奇艺虚拟制作团队测试了十多种不同类型的灯具和附件效果，最终筛选出了一款太空灯，配合特定遮光附件，以及正确的悬吊高度和位置，能够有效地将照明范围控制在实景边缘的同时，实现更好的虚实景衔接效果。

针对在相对较暗的数字场景下进行高速拍摄时，由于扫描数的减少导致的“扫描线”问题，爱奇艺将屏体发送卡、接收卡有针对性的进行了升级，从而实现了虚拟环境中支持200格以上的高速拍摄。

升级后的渲染集群由20台顶级图形卡工作站组成，支持高分辨率、高帧率、多视锥拍摄；全色域环境光照明系统照度超过了500lux+，支持虚幻引擎联动控制；摄影机跟踪系统支持多机位全场无限制自由移动；实景转台承重超100吨，与虚幻引擎联动实现虚实景同步旋转，可快速完成正反打、多角度拍摄；监看系统为4K HDR+4K SDR双系统，可录制回放。

在软件方面，爱奇艺一直坚持用包括UE5.35、UE5.4在内的最新版本，也成为了虚幻引擎在影视领域的标杆应用。目前爱奇艺虚拟制作的核心系统IQ Stage与UE进行了深度融合，自研的LED屏幕色彩匹配、虚实景深匹配、虚实地面亮度匹配等专利技术，都集成整合在IQStage插件中。为了充分满足拍摄中的实际需求，团队也会通过钻研、修改、迭代UE源码的方式，实现更高效、更高质的拍摄。

在UE5.4官方版本的虚拟摄影机景深调整范围功能中，焦点前景深和后景深的位置由引擎默认的光学参数决定，不可手动调整，同时前景深和后景深的虚化程度也会根据光圈数值自动虚化不可手动调整。为此，爱奇艺虚拟制作团队对UE源码进行了优化并重新编译了UE引擎，使得虚拟拍摄也可以做到虚拟前、后景景深虚化效果的自由调整。主创在实际拍摄过程中可以根据自己对景深的理解控制单独前后景深的虚化程度。

数智化能力

为影视剧工业化拍摄“提质增效”

AI数字资产赋能虚拟制作

提升剧组美术效率

AI时代到来，如何充分利用AI的理解和创作能力赋能虚拟制作，也是爱奇艺关注的方向。

朱梁介绍道，目前生成式AI工具的使用集中在剧集的前期规划阶段，即在现有数字资产的基础上，应用生成式AI工具设计场景效果图甚至对三维场景的搭建提供帮助，用于预演、仿真模拟中，神经辐射场渲染也可以作为一种快速重建真实世界的3D场景的方式，经过扫描、生成及少量人工修复，即可作为数字场景使用，是虚拟制作快速拍摄的一种解决方案，不仅能大幅度降低场景制作成本，又提高制作效率。现阶段，生成式AI生产的2D图片或3D场景元素，已经广泛地用于场景概念设计和概念预演。AI工具也会用于天空球的背景绘制，特别是在希望有一些独特设计的时候，会用AI加上图像增强的工具进行生成。

具体到《大梦归离》项目，爱奇艺在片场部署算力，应用AI大模型，与美术团队共同训练具备《大梦归离》审美风格元素的LoRA模型，由AI与人工共同完成概念设计和效果图，不仅用于天都街道的实景搭建，还可以将其应用在后续宣发推广环节的物料制作。

《大梦归离》 “天都街道” GenAI生成概念图

“天都街道” 实景搭建

朱梁表示，目前的GenAI模型训练是针对单个影视项目的训练，采用的是和美术师共创的方式来进行，这样既解决了纯技术团队训练在美学上的不足，也有利于调动美术师的积极性来应用AI技术解决效率方面的问题。同时，模型还可以导入UE当中，无论是进行绿幕拍摄+合成，还是用于真人+LED虚拟拍摄，都会是一个非常高效、低成本的解决方案。在技术越来越成熟、质量越来越高的以后，或许能成为大幅度降低制作成本和时间的解决方案。

阶梯状推进，

让拍摄可控、让主创安心

朱梁表示，虚拟制作非常关键的一点在于改变现有的生产流程。对于主创来说，面对新的生产流程，明确了解风险所在、更好地掌控虚拟制作的全局是大家的刚需。为此，爱奇艺的虚拟制作团队对预演环节极为关注。虚拟预演可以将拍摄现场的情况特别是风险预先进行视觉化呈现，在此基础上技术团队可以和主创共同确定更科学的现场拍摄方案。

《大梦归离》月亮桥的一幕给观众留下了深刻的印象，在场景设计之初也给制作团队带来了极大的挑战。在距LED屏幕仅5厘米的地方就是大面积水面，既要支持真人和灯光器材在水面工作，又要实现转盘正常转动，这在当时国内外的制作方案中是绝无仅有的。

《大梦归离》 月亮桥虚拟预演

团队一方面做好器材的防水方案，确保转盘、屏幕不会因漏水导致工作停摆；此外还通过精密的计算和仿真，用虚拟预演的方式提前让导演了解现场调度中演员的走位以及摄影机的运镜，确保摄影机在俯拍时拍到的水面效果不会因为反射顶棚挂灯而穿帮。

《大梦归离》 月亮桥虚构画面

虚拟预演还给美术师虚拟堪景带来便利，在《大梦归离》中，虚拟制作的7个场景都通过虚拟预演方式和美术指导进行沟通。美术指导就像玩游戏一样，到场景中去走走看看，如果觉得哪一块石头或者树的材质不对，指出后数字资产团队可远程/异地按照要求去改，极大地提高了效率，降低了沟通成本。

有了完善的预演方案，主创们在虚拟拍摄中的创作心态和普通场景中的更为一致，可以更多地关注演员的走位和情绪调度，从而摆脱对技术的困惑，把精力完全投入到创作中。

发挥数字资产价值

赋能更多IP娱乐场景

目前，爱奇艺虚拟制作已经进入“量产期”，继“三幻”题材后，现实题材也进入虚拟制作的范畴。俗话说“画鬼容易画人难”，现实题材内容的场景但凡有一个细节不真实都会让观众跳戏，制作难度也因此加倍。

“我们在现实主义题材的创作中，会参考更多的历史资料，包括同时期的视频图像来分析细节，再去组合和拼凑我们想要再现的场景。拍摄的时候，我们也会注意去设计一些可以移动的挡板支架去做一些强迫透视，通过透视镜头的设计，来体现沉浸感和纵深感，实现更逼真可信的效果。”朱梁如是说。

要实现虚拟制作更大范围的“量产”，数字资产的积累是前提也是成果。但数字资产更大的意义在于衍生出更多和用户连接的方式并创造价值，包括数字藏品的发行、XR和游戏的开发、基于LBE的线下文旅元宇宙等。

朱梁表示，目前爱奇艺的数字资产库以平台IP高质量场景、服装道具CG模型、设计稿、视频空镜等数字资产为核心，各类高品质资产积累已超过万余件套。未来爱奇艺希望实现数字资产的破壁和打通，应用优质资产来服务和匹配更多类型的项目。

在《大梦归离》项目上，爱奇艺智能制作部就与创新终端部协同，将《大梦归离》的数字场景“观象台”搬到了Apple Vision Pro（AVP）上。用户佩戴AVP，打开爱奇艺XRAPP就可以一秒穿越到剧中场景，通过双手自然交互，操控日晷，坐看观象台的日夜晨昏。由于影视级别的数字资产参数规格非常高，通过复用高质量的IP数字资产，设计契合世界观的交互能力，这种对剧情名场面的还原可以让用户在追剧的同时身临其境。

朱梁提出，爱奇艺还将应用AI+IP的能力打造不同的娱乐场景，增强与用户的联系，并扩大相应的衍生收入。“我们还会尝试AppleVisionPro之外的新方向，扩大优秀数字资产特别是处在金字塔塔顶的资产的影响力。”