认识XR虚实融合制作系统
在早些时候的业界描述中，XR主要被看作是对AR和VR技术的宽泛概括。然而，现在的我们应当如何更深入地理解XR技术呢？XR是指通过计算机将真实与虚拟相结合，打造一个人机交互的虚拟环境，是VR（Virtual Reality虚拟现实）、AR（Augmented Reality增强现实）、MR（Mixed Reality混合现实）等多种技术的统称。
XR虚实融合制作是基于大屏幕构建的虚拟场景和舞台现实场景进行视频制作的一种节目制作方式，其优势在于它能够打破传统的制作限制，为创意提供更多的空间和可能性。以前，电影和电视的制作需要大量的实地拍摄和后期制作，而这些工作都需要耗费大量的时间和金钱。但是，XR虚拟拍摄技术可以让制作人员在虚拟环境中进行拍摄和后期制作，从而节省时间和成本。
01
XR虚实融合制作系统的组成
XR虚实融合制作系统包括LED大屏子系统、拍摄子系统、目标跟踪子系统、渲染子系统。
LED 大屏子系统
LED大屏子系统通常采用立屏加地屏的组合方式，其主要功能是对渲染子系统输出的虚拟场景视频进行显示。
目标跟踪子系统
目标跟踪子系统的主要功能是对摄像机位置与镜头参数、人体位置、道具位置进行实时获取，将摄像机位置与镜头参数数据映射至渲染子系统中的虚拟摄像机，实现对虚拟三维场景的渲染以及对虚拟数字人动作、相应道具或特效的驱动。
拍摄子系统
拍摄子系统的主要功能是对现场画面进行采集，采集图像既可以直接输出，得到所拍即得的虚实融合视频，也可以传送至渲染子系统，得到在舞台大屏幕视频基础上延伸拓展的虚实融合视频。
渲染子系统
渲染子系统有两个主要功能，一是对虚拟三维场景进行渲染并输出至LED大屏子系统，二是将接收拍摄信号与舞台大屏幕延伸拓展的虚拟视频融合，输出虚实融合视频。
02
XR虚实融合制作常规工作流程
1、目标跟踪子系统通过解算获取摄像机位置与镜头参数、人体位置、道具位置，传输至渲染子系统
2、渲染子系统对该摄像机视角下的虚拟三维视频进行渲染，并根据人体或道具的位置参数驱动虚拟场景中数字人或道具特效
3、LED 大屏子系统接收渲染子系统输出的虚拟三维视频并显示
4、拍摄子系统拍摄表演区域与 LED 大屏背景
5、渲染子系统接收拍摄子系统输出的视频并叠加 AR 场景，再渲染输出合成视频至视频制作系统
工作流程示意图
随着技术的不断进步，我们相信这项技术将会在未来发挥越来越重要的作用。
