本文刊发于《现代电影技术》2025年第2期
专家点评
当前，虚拟摄制是影视制作领域的热点研究方向之一，其后期前置化、所见即所得、虚实融合的制作模式显著提升了影视制作的灵活性与效率。此外，虚拟摄制的应用亦展现出跨领域的拓展趋势，在短视频制作、网络直播、游戏制作、广告拍摄、动漫、沉浸式文旅体验等领域也获得了大量推广应用，展现出巨大发展潜力。虚拟摄制的技术组成可大致分为虚拟场景渲染、摄影机定位追踪、灯光控制、人机交互、LED显示等，而摄影机定位追踪技术一直是电影虚拟摄制的关键，其技术水平的高低，在很大程度上决定了虚拟摄制整体质量的优劣。从十余年前基于绿幕的虚拟摄影开始，到今天的基于LED背景墙的虚拟摄制，电影人不断探索实践新方法和新工艺，改进和优化这一技术，利用最新科技成果，实现更为精准和稳定的摄影机内外参数追踪。《虚拟摄制中镜头和位姿元数据聚合技术应用研究》一文针对虚拟摄制中摄影机定位追踪相关设备稳定性差、易被干扰等问题，提出了一项创新的聚合技术方案，为虚拟摄制现场创制的灵活性与稳定性提供了可靠保障。文章详细论述了摄影机内外参聚合的实现流程，并进行了相关实验与测试，实验结果也直观地展示了该方案在数据稳定性方面的显著提升，展现了其未来的实用价值与创新性。
——陈军
研究员
北京电影学院影视技术系主任工程师
作 者 简 介
解 沛
中国电影科学技术研究所(中央宣传部电影技术质量检测所)工程师，主要研究方向：数字电影技术。
中国电影科学技术研究所(中央宣传部电影技术质量检测所)高级工程师，主要研究方向：数字电影技术。
周令非
王木旺
中国电影科学技术研究所(中央宣传部电影技术质量检测所)传输放映技术研究处副处长，主要研究方向：数字电影技术。
摘要
近年来，影视制作技术出现巨大的变革与更新，虚拟摄制技术被广泛应用于电影制作。基于目前影视虚拟摄制中存在无法有效整合镜头与位姿元数据，相关设备稳定性差、易被干扰等问题，本文通过对现有摄影机追踪与跟焦设备进行分析，针对不同场景，提出一种虚拟摄制中镜头和位姿元数据聚合技术方案，搭建相关系统并进行了实验与测试。结果表明，本文提出的镜头和位姿元数据聚合技术能够有效聚合输出稳定且平滑的镜头和位姿元数据，为虚拟摄制现场创制的灵活性与稳定性提供可靠保障。
关键词
虚拟摄制；镜头跟焦；摄影机追踪；数据聚合；摄影机位姿元数据
1 引言
虚拟摄制技术是真实世界和数字世界的交融区域，是一种利用计算机图形学（CG）和虚拟现实（VR）技术模拟电影场景的技术[1-3]。随着影视工业和科技的进步，虚拟摄制技术也经历了不同的发展阶段。随着电影《阿凡达》（Avatar，2009）和《狮子王》（The Lion King，2019）等作品对虚拟摄制技术的应用，虚拟摄制作为产业逐渐兴起，基于蓝幕/绿幕的合成方式作为传统虚拟摄制技术的主要技术手段被广泛应用于诸多电影的生产制作中[4,5]。然而，传统虚拟摄制技术会带来蓝幕/绿幕溢色等问题[6]，为解决此类问题，基于LED背景墙的虚拟摄制技术应运而生，其将后期制作部分工作移至拍摄前，旨在将电影最终呈现效果交给现场导演和主要创作者把控[7]。
无论是蓝幕/绿幕为代表的传统虚拟摄制，还是基于LED背景墙的虚拟摄制，都需要记录或实时接收摄影机镜头和位姿元数据。对于蓝幕/绿幕而言，记录镜头和位姿元数据，能够保证后期制作人员准确地将数字虚拟场景与实际拍摄场景相结合。在LED背景墙虚拟摄制过程中，渲染引擎通过实时接收镜头和位姿元数据，在LED背景上实时渲染内视锥[8]，用于摄影机直接拍摄的背景画面[9]。目前已有的虚拟摄制技术和相关设备存在诸多问题，例如摄影机追踪设备的位姿元数据与跟焦设备的镜头元数据独立传输进虚拟摄制系统中，无法有效整合至同一虚拟摄影机对象，导致内视锥无法正确渲染，无法满足多变的拍摄需求。此外，在拍摄现场，单一追踪设备无法完成不同场景下的追踪任务，为提升精度并提高系统鲁棒性，会利用多套追踪设备追踪同一摄影机，但需手动切换数据源，既影响了现场拍摄进度，也限制了导演与摄影指导的创作效率。本文将针对目前虚拟摄制现场镜头和位姿元数据无法有效聚合、数据获取与传输稳定性差等现状，提出能够有效应用于拍摄现场的镜头和位姿元数据聚合技术，并进行了相关实验与测试，为降低虚拟摄制设备成本、提升虚拟摄制效率、增大拍摄现场创作灵活性提供可靠保证。
2 相关研究背景及面临的问题
2.1 镜头与位姿元数据
2.1.1 摄影机位姿元数据
虚拟摄制中摄影机位姿元数据是指在虚拟摄影棚中真实摄影机在空间中的位置与姿态信息[10]。具体而言，空间位置信息包括三个轴向的平移数据X、Y及Z，空间姿态信息包括围绕三个轴向的旋转数据：横摇（Yaw）、俯仰（Pitch）及翻滚（Roll）。摄影机位姿元数据信息需通过摄影棚内摄影机追踪设备[11]获取，通常会将追踪设备分为两大类，即光学追踪设备和非光学追踪设备。
在目前虚拟摄制中，主创人员通常会选择光学追踪设备完成摄影机的追踪。光学追踪设备主要利用光线和图像传感器来实现对摄影机位姿的追踪，通常由标记点、摄像头、图像处理单元以及位姿计算方法四部分组成。
非光学追踪设备不依赖于光线和图像传感器，而是通过其他物理量的变化来实现对摄影机位姿的获取。常见的非光学追踪设备主要包括磁性追踪设备[12]、惯性追踪设备和无线电追踪设备三种类型。
2.1.2 摄影机镜头元数据
虚拟摄制中摄影机镜头元数据是真实摄影机镜头的重要信息，主要包括摄影机的焦点（Focus）、焦距（Zoom）及光圈（Iris）。摄影机镜头元数据信息的获取需通过摄影机跟焦设备。跟焦设备通常有两种工作模式：一是镜头卡口的触点与摄影机直接进行数据传输，二是通过跟焦齿轮数据进行反算获得镜头元数据。
利用触点进行数据传输是一种通过物理接触来传递数据的方式，触点通常位于镜头的卡口位置，通过与摄影机身上的对应触点相接触，实现数据的传输和交换。触点传输的优点在于传输信息丰富、数据传输速度快、稳定性高，同时对环境适应性强。
利用跟焦齿轮数据反算是一种通过机械传动来传递数据的方式，通过与摄影机或其他设备上的齿轮相啮合，实现数据传递和交换。跟焦齿轮的优点在于可适用于多种环境；结构简单，维护成本较低；对于特定类型的摄影机或镜头具有较好的兼容性。
2.2 摄影机镜头和位姿元数据传输协议
在传统虚拟摄制中，镜头和位姿元数据通常只需如实记录即可，但对于LED虚拟摄制，需在拍摄过程中将镜头与位姿元数据实时传输至渲染引擎中，从而在LED背景墙上正确渲染出内视锥画面[13]。大部分摄影机追踪设备和跟焦设备均会设置数据传输私有协议，同时也会支持1~2种公开数据协议，常见的公开协议有FreeD协议和VRPN协议。
FreeD协议最初由BBC R&D[14]开发，允许支持FreeD协议的摄影机和跟踪设备与虚拟场景渲染系统无缝进行数据交换和通信。目前已广泛应用于虚拟演播室系统、游戏开发、虚拟现实等领域。FreeD协议主要具备三个特点：（1）实时数据传输。FreeD协议支持实时数据传输，可实现摄影机镜头与位姿元数据实时传输至渲染引擎的需求。（2）高精度数据采集。FreeD协议支持传输高精度数据，可实现对摄影机的精确跟踪和定位。（3）易于集成和扩展。FreeD协议设计灵活，易于与其他系统和设备进行集成和扩展。
VRPN[15]协议是专为虚拟现实应用设计的协议。其允许虚拟现实系统中的各种外围设备（如跟踪器、传感器、显示设备等）通过网络实现相互通信与协作。VRPN协议的主要目的是解决虚拟现实系统中多台设备间的同步问题，确保每个设备的动作和状态能够实时反映至整个系统。
2.3 面临的问题
2.3.1 设备稳定性与传输协议一致性
在虚拟摄制现场，由于成本、影棚大小甚至是主创团队的使用习惯不同，会使用不同的追踪设备与跟焦设备。相比于跟焦设备，追踪设备的稳定性较差，不同类型的跟焦设备在复杂多变的摄制现场均会出现无法准确追踪摄影机的情况。
光学追踪设备的优点在于能够提供较高的精度和实时性，尤其适用于室内或受控环境中的追踪应用。然而，这种方法对环境光照条件较为敏感。在虚拟摄制现场，无论是营造氛围的烟雾，或是演员衣服上的反光材料，还是走位过程中造成的遮挡，都会造成光学追踪设备的位姿元数据精确性降低、无法稳定传输甚至出现数据丢失的情况。
而非光学追踪设备的优点在于对环境条件的依赖性较低，可在较恶劣的环境中工作。然而，受工作原理的限制，这类设备的精度和实时性通常不如光学追踪设备，且可能存在一定局限性，如适用范围、成本等。在摄制现场，剧组人员需根据具体的拍摄需求和资源条件选择合适的方法和设备。
除了追踪设备的稳定性易受影响外，不同设备所使用的数据传输协议也各有不同，相较于使用FreeD和VRPN等通用传输协议的设备，使用私有传输协议的设备在学习成本及技术人员熟练程度上具有更高要求。
2.3.2 多设备的使用
2.3.2.1 镜头与位姿元数据同时绑定
现有追踪设备大都不具备跟焦功能，即使提供跟焦功能，也是通过跟焦齿轮数据反算的方式实现。为更好地渲染内视锥画面，需同时提供镜头与位姿元数据。以常用的虚幻引擎（UE）和澜景hecoos为例，如需绑定追踪设备与跟焦设备，都存在问题。对于UE而言，可通过两个Live Link控制器分别接收镜头和位姿元数据，并将两个控制器的数据同时流送给同一虚拟摄影机对象[16]。但使用该种方式进行绑定时，设置流程繁琐，还会因漏操作或误操作导致无法正常绑定。此外，由于UE的不稳定性，该方式在实际虚拟摄制时，常会出现无响应的情况，极大拖慢了现场创作进度。对于hecoos而言，一台虚拟摄影机只能接收一个设备的数据，也就无法支持同时绑定镜头和位姿元数据。
2.3.2.2 多个追踪设备同时绑定
在虚拟摄制现场，为保证摄影机追踪的实时性和稳定性，会使用两台及以上的不同追踪设备进行追踪。对于UE而言，可同时绑定多台追踪设备，但无法实时切换追踪设备；而hecoos无法绑定多台追踪设备。此外，如果不同设备所使用的传输协议有所不同，在数据接收与解析上也需技术人员耗费更多时间与精力。
综上所述，目前的技术无法有效解决虚拟摄制现场设备稳定性差的问题，也无法应对多设备同时使用后操作繁琐的问题。针对这类情况，笔者提出虚拟摄制中镜头和位姿元数据聚合技术。
3 镜头和位姿元数据聚合技术方案
3.1 设计思路与整体流程
针对上述背景与存在的问题，本文提出一种镜头和位姿元数据聚合的技术方案（图1）。相较于追踪设备，跟焦设备稳定性较好，因此输入采用多台追踪设备与一台跟焦设备。整体流程简述如下：首先需对支持不同数据传输协议的设备进行数据获取与解析；之后根据稳定性筛选数据，根据耦合性选择聚合策略与算法；聚合完成后会获得一组完整的元数据，包括镜头与位姿元数据；最后利用传输协议进行编码后传输至渲染引擎中，或记录在本地供后期制作使用。
图1 技术方案流程图
3.2 具体技术方案
虚拟摄制中镜头和位姿元数据聚合算法具体操作方法如下。
步骤1：镜头和位姿元数据的获取。对安装在搭建好的虚拟摄影棚中或安装在棚内实体摄影机上的追踪设备与跟焦设备进行数据实时接收，获取摄影机追踪设备采集到的位姿元数据包和跟焦设备采集到的镜头元数据包。其中摄影机追踪设备数量为两套及以上。
步骤2：镜头和位姿元数据的解析。通过摄影机镜头和位姿元数据传输协议，根据步骤1中获取的相应数据实时解算多路摄影机的帧率、设备ID号、位姿元数据及镜头元数据，位姿元数据包括三轴平移数据、三轴旋转数据，镜头元数据包括焦点、焦距及光圈数据。
步骤3：位姿元数据的筛选。判断多路位姿元数据的稳定性，剔除无法稳定传输的位姿元数据，保留稳定传输的追踪设备提供的位姿元数据。在判断多路位姿元数据的稳定性时，通过设置超时阈值σ，对每一路追踪设备进行数据接收时间δ的统计，如果δ>σ，则判断该路数据不稳定，进行剔除。δ采用式（1）进行计算：
式（1）中，ϵi2表示接收到第i路数据当前帧的时间，ϵi1表示接收到第i路数据前一帧的时间。
步骤4：选择聚合策略。判断筛选出的多路位姿元数据数量，如果筛选后剩余稳定传输的追踪设备数量大于1路，则进行步骤5，如果筛选后剩余稳定传输的追踪设备数量等于1路，则进行步骤8，如果筛选后剩余稳定传输的追踪设备数量小于1路，则进行步骤9。
步骤5：计算耦合性。判断筛选后剩余稳定传输的追踪设备间的耦合性，提前设定阈值Δ（0 <δ<1），计算多路设备两两之间的耦合值 ξ i, j，并与阈值Δ进行比较，选取耦合值 ξi, j最小且小于阈值Δ的两路设备数据（紧耦合）执行步骤6，如果所有耦合值均大于阈值Δ（松耦合），则执行步骤7， ξi, j采用式（2）—式（8）进行计算：
步骤6：对步骤5选取的耦合值ξi, j最小且小于阈值Δ的两路设备所传输的位姿元数据中的三轴平移数据及三轴旋转数据分别取平均值，并将六个平均值作为最终输出的位姿元数据包数据，执行步骤10。
步骤8：将筛选后剩余稳定传输的追踪设备提供的位姿元数据作为最终输出的位姿元数据包数据，执行步骤10。
步骤9：将上一帧输出的位姿元数据作为最终输出的位姿元数据包数据，执行步骤10。
步骤10：整合镜头和位姿元数据。将前述步骤获得的镜头元数据与获得的位姿元数据包进行整合并编码。
步骤11：传输或记录数据。将实时元数据包以UDP通信协议发送给搭载有渲染引擎的终端，以控制渲染引擎中的虚拟摄影机，或记录在本地以供后期进行视效制作。
以三台追踪设备与一台跟焦设备为例，示例流程如图 2所示。
图2 示例流程图
4 实验与分析
在本文实验中，选择Ncam Camera Bar[17]和Mo⁃Sys StarTracker[18]两套设备作为摄影机追踪设备，上述两个设备传输协议均采用FreeD协议。选择Movcam MCS⁃2[19]和XRPort共同组成摄影机跟焦设备，搭配使用UE[20]。实验测试场地选择无锡5G智慧虚拟摄影棚[21]。
4.1 实验方法与结果
4.1.1 位姿元数据稳定性
在摄影棚中同时将两套摄影机追踪设备挂载于一台摄影机上，同时该摄影机装有跟焦设备。之后通过移动摄影机模拟实际拍摄时摄影机的运动方式，并在摄影机运动过程中通过遮挡追踪设备、断开数据线缆等方式模拟拍摄时追踪设备不稳定容易掉线等问题，在过程中记录使用本文提出的聚合技术方案（以下简称“本方案”）后输出的位姿元数据，同时记录Mo⁃Sys和Ncam两个设备的原始数据，作为与最终输出数据对比的对照组。
实验部分追踪数据可视化结果如图3所示，横坐标表示位姿元数据的帧序号，纵坐标表示旋转角度（单位为度）。其中红色数据点为Mo⁃Sys位姿元数据，蓝色数据点为Ncam位姿元数据，黄色数据点为使用本方案后最终输出的位姿元数据。
在图3所示的实验过程中，模拟Mo⁃Sys设备被遮挡或数据源丢失的情况，并记录输出的位姿元数据。在Mo⁃Sys和Ncam两台设备均稳定提供位姿元数据时，经过本方案计算的数据同样能够保持稳定输出。在2000~3000帧之间，通过遮挡模拟Mo⁃Sys数据源被影响的情况。这段时间内，Mo⁃Sys数据丢失，在图中呈现平直的横线，Ncam数据继续保持正常输出，经过本方案计算的数据同样能够保持稳定的输出。
图3 俯仰角度数据变化
4.1.2 镜头与位姿元数据聚合
在摄影棚中同时将两套摄影机追踪设备挂载于一台摄影机上，同时该摄影机装有跟焦设备。在移动摄影机的同时，使用跟焦设备对镜头的焦点和焦距进行变化调整，并记录LED屏幕上内视锥的变化情况。
实验部分结果如图4所示。实验结果表明，使用本方案可实现位姿与镜头元数据的同时传输，内视锥会随着摄影机的移动而移动，也会随着焦距的变化逐渐扩大，同时内视锥画面会随着焦点的变化逐渐模糊。
图4 焦距、焦点变化对内视锥的影响
4.2 实验结论
实验表明，利用本方案在虚拟摄制现场使用多台追踪设备进行追踪时，如果某一组数据出现不稳定或信号丢失的情况，本方案最终输出的位姿元数据依然可保证稳定且平滑地输出数据，同时还可聚合镜头元数据，最终为渲染引擎提供一组稳定的镜头和位姿元数据，解决了虚拟摄制现场追踪设备不稳定，无法同时获得镜头和位姿元数据的问题。
5 结语
本文通过对虚拟摄制中摄影机追踪与跟焦技术的研究与探索，针对目前虚拟摄制中位姿与镜头元数据无法有效聚合的问题，提出了一种虚拟摄制中镜头和位姿元数据聚合技术方案。该技术方案通过接收与解析拍摄现场追踪设备与跟焦设备的相关元数据，通过不同的聚合策略，实时计算、聚合输出稳定且平滑的摄影机镜头和位姿元数据信息。实验测试在无锡5G智慧虚拟摄影棚中进行，模拟真实拍摄场景中的摄影机运动轨迹及追踪设备数据不稳定、易丢失等问题，验证了本文所提聚合算法的可行性与稳定性。该技术可有效解决当下摄影机镜头和位姿元数据独立接入虚拟摄制系统，无法拆分、聚合及无法在不同方案间热切换的问题，同时解决了单一摄影机追踪设备不稳定、数据传输易丢包的问题，为降低虚拟摄制设备成本、提升虚拟摄制效率、增强拍摄现场创作灵活性、保证拍摄现场创作稳定性提供了可靠保障。
未来笔者将会进一步提升聚合算法的稳定性与实时性，并逐步支持更多追踪设备与跟焦设备，提出能兼容更多设备并具有更好鲁棒性的镜头和位姿元数据聚合技术，进一步提升虚拟摄制创作效率与创作质量。
参考文献
（向下滑动阅读）
[1] Epic Games. The Virtual Production Field Guide: a new resource for filmmakers [EB/OL].(2019⁃07⁃25) [2024⁃09⁃25].https://www.unrealengine.com/es-ES/blog/virtual-production-field-guide-a-new-resource-for-filmmakers.
[2] LAMA R. The Future of Virtual Backgrounds in Filmmaking[D]. Prague: Academy of Performing Arts in Prague, 2024.
[3] BYUN H W. Interactive vfx system for tv virtual studio[J]. Journal of the Korea Computer Graphics Society, 2015, 21(5): 21⁃27.
[4] SHAN X, CHUNG J. Comparison of the Characteristics of Green Screen and LED Wall in Virtual Production System[J]. International journal of advanced smart convergence, 2022, 11(2): 64⁃70.
[5] HELZLE V, SPIELMANN S, TROTTNOW J. Green screens, green pixels and green shooting[M]//ACM SIGGRAPH 2022 Talks, 2022: 1⁃2.
[6] 陈军,赵建军,李想.基于LED背景墙的电影虚拟化制作系统集成与研发[J].北京电影学院学报,2021(07):112⁃121.
[7] 耿天乐,赵建军,常一孜,等.LED虚拟摄制实践中存在的问题及应对策略研究[J].现代电影技术,2023(09):18⁃26.
[8] LAGUNA G. Unreal Engine Enhances Virtual Production Workflows With NVIDIA Rivermax and BlueField [EB/OL]. (2023⁃04⁃05) [2025⁃01⁃13].https://blogs.nvidia.com/blog/unreal-engine-rivermax-bluefield/.
[9] 陈军,赵建军,卢柏宏.基于LED背景墙的电影虚拟化制作关键技术研究[J].现代电影技术,2021(08):17⁃25.
[10] 刘丙凯.虚拟演播室中摄像机跟踪与定位系统研究[D].南京：南京理工大学,2017.
[11] 马金秀.Vicon追踪系统在LED虚拟摄制中的应用研究[J].现代电影技术,2023(03):34⁃39.
[12] 尹娟. 六自由度电磁定位跟踪系统[D]. 天津:天津大学,2012 (12).
[13] Unreal Engine. In⁃Camera VFX Overview [EB/OL]. (2024⁃04⁃23) [2025⁃01⁃13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/in-camera-vfx-overview-in-unreal-engine?application_version=5.4.
[14] British Broadcasting Corporation. BBC Research & Development [EB/OL]. (2024⁃01⁃01) [2024⁃09⁃25]. https://www.bbc.co.uk/rd.
[15] Virtual Reality Peripheral Network. Virtual Reality Peripheral Network ⁃ Official Repo [EB/OL]. (2023⁃06⁃23) [2024⁃09⁃25]. https://github.com/vrpn/vrpn/wiki.
[16] Unreal Engine. Using Live Link Data [EB/OL]. (2024⁃04⁃23) [2025⁃01⁃13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/using-live-link-d
ata-in-unreal-engine?application_version=5.4.
[17] Ncam Technologies. Ncam Mk2 Camera Bar [EB/OL]. (2021⁃01⁃01) [2024⁃09⁃25].https://www.ncam-tech.com/hardware.
[18] Mo⁃Sys Engineering Ltd. Mo⁃Sys StarTracker [EB/OL]. (2024⁃01⁃01) [2024⁃09⁃25]. https://www.mo-sys.com/products/startracker.
[19] Movcam Tech. Co., LTD. Movcam MCS⁃2 [EB/OL]. (2024⁃01⁃01) [2024⁃09⁃25] .https://www.movcam.com/mcs2.
[20] Epic Games. Unreal Engine [EB/OL].[2024⁃09⁃25]. https://www.unrealengine.com.
[21] 无锡国家数字电影产业园. 5G智慧虚拟摄影巨幕，颠覆传统拍摄新纪元！[EB/OL]. (2023⁃06⁃23) [2024⁃09⁃25]. http://wuxistudio.com/index.php?s=/article/detail/id/962.html.
【项目信息】中国电影科学技术研究所（中央宣传部电影技术质量检测所）基本科研业务费项目“LED虚拟摄制系统中的镜头和位姿元数据聚合研究”(2023⁃DKS⁃9)。
