CAMTracker(D2) v2.5发布说明及使用流程介绍（二）

CAMTracker(D2)软件在整个工作流程中担任的角色是把相机画面与跟踪数据进行处理后再发送给D2进行实时的三维合成。具体到画面的处理涉及到色彩空间转换，相机画面校正与实时抠像，MASK处理与投影映射，而对于跟踪数据的处理涉及到数据滤波，坐标系转换与发送协议的转换问题。

CAMTracker（D2）虚拟制作流程：

1. 首先第一步就是接入相机画面，在CAMTracker中提供一个跟踪相机（即CAM0）与4个固定相机（CAM1-4）画面输入。你可以直接点击Video Monitor界面的主窗口中点击红色的CAM0按键打开画面接入设置。在这里选择你的采集卡相应品牌与设备型号。相机输入格式最好选择10bit422的格式，以方便精细抠像。如有多个相机输入，最好也选择进行同步，Sync Input。相关具体功能可以参考TD的说明：https://docs.derivative.ca/Video_Device_In_TOP

对于颜色空间转换，请参考具体相机的输出进行设置。

2. 接下来对于镜头校正部分。需要先打印相应的棋盘格图片（图片向我索取），并粘到硬纸板上，确保不要变形。接着运行相机校正软件，点击VIDEOIN同样设备接入相机画面，这时候要确保关闭CAMTracker中的相机画面，不然会被占用。然后点击Textport打开命令行界面以随时查看处理信息，再以不同姿态摆放纸板点击Capture Frame进行画面拍摄，每拍摄一张在Textport中即会提示识别到的标记点数量，在实时画面中也会显示，要确保这个识别到的标记点不能少于6个，如果识别失败就需要点击Clear Sets进行清除，当CapturedSets数量达到10张后，即可点击Calibrate Cam进行相机校正的计算，在Textport中会显示相关的结果，然后把这个结果依次输入到LENS窗口K1-K2-P1-P2-K3选项中即可。其它相关选项请参考TD文档说明。https://docs.derivative.ca/Lens_Distort_TOP

3. 抠像操作。对于抠像首先就是灯光要打好，尽量避免溢色，前期设置好就会起到事半功倍的效果。有关抠像方面的相机设置请参考B站影视飓风对于抠像方面的教程。

对于抠像模式，分为常规模式与简易模式。

简易模式激活时，所有显示绿色边框部分为可调节参数。对于比较干净的画面，通常简易模式就可以获得不错的抠像效果。常规模式通常是使用颜色选择器来设置抠像颜色的HSV值，主要调节的参数为两个去噪选项，Curvature曲率值，其它参数如无必要就不需要动了。当然这取决于实际在D2中的效果。具体的抠像操作细节请参考之前的教程。

1. 设置跟踪系统。默认的跟踪系统为VIVE Tracker，如果你只购买了两个基站加一个跟踪器的话，就需要先设置一下steamvr软件以确保可以在无头盔的情况下正常使用。在设置SteamVR时，记得关闭CAMTracker，因为它会调用SteamVR的驱动。无头盔使用的具体操作流程请参见UE文档链接：https://docs.unrealengine.com/5.0/en-US/livelinkxr-in-unreal-engine/。

设置无头盔启动SteamVR后，即可先确保基站识别到跟踪器（Tracker）。推荐各位使用USB线直接连接跟踪器到电脑，以避免信号干扰带来的抖动。如位置抖动仍很激烈的话，可以检查场地反光情况以及基站的安装角度。再点击下面的Wireless/Wired按钮进行切换，以使用右边带有蓝色边框的三个滑块来设置卡尔曼滤波平滑跟踪选项，在设置这三个选项时可以参考右边的波形图进行调整。如有头盔的话，可以做一下房间校准来设置坐标系的原点坐标位置。没有的话，你也可以把第一个识别到的tracker放置到绿幕的地板中间，注意坐标系的放置方向，如下图所示，确保充电口朝向相机方向。然后切换右边的这个DefaultVal按键来重置原点坐标。重置以后所有识别到的tracker都是以这个原点坐标系为准。

2. Align View对齐视图。在做对齐之前，先在3D Preview视图中点击CAM0 Settings设置相机的FOV与实际相机的FOV相匹配。如不知道具体FOV参数的话，可以参考以下链接进行计算。https://blog.csdn.net/sxf1061700625/article/details/124649495

这个对齐视图主要针对vive tracker用户，在这个视图中会将实际相机画面与Tracker的渲染画面进行叠加显示以方便进行虚拟与现实的画面对齐。如果你有两个tracker的话，可以一只绑定到跟踪相机上（第一个识别到的tracker为红色），如上图测量相对的偏移值。另一只（第二只识别到的tracker为白色）放置到画面中以进行准确画面对齐。根据你使用的tracker种类不同，你也可以通过tracker switch滑块切换不同的tracker类型，包括2.0，3.0，tundra tracker ，camera只针对T265这类跟踪相机显示样式。

当然如果你使用的是其它跟踪设备的话，也可以使用第一个识别到的tracker来做画面对齐，因为无论你切换到哪种跟踪设备，Vive是始终保持启用状态的，只是需要把两种跟踪设备的坐标系进行对齐才可以。这个Screen Tracking屏幕跟踪功能也是使用这个校准坐标系用的tracker位置来作参考，即在VIVE模式时使用的是第二个识别到的tracker位置，切换跟踪设备类型到其它选项时则使用的是第一个识别到的tracker位置。

如果没有tracker来做校准参考的话，只要相机校正，FOV以及XYZ偏移值设置准确就可以了。这里也要注意跟踪相机上tracker的Y轴安装角度与相机角度保持一致。

3. 绿幕配置。接下来我们就可以根据现场绿幕的实际配置在billboard，3screen与4screen之间进行切换。然后来设置实际绿幕的尺寸与位置。确保不要把绿幕外的画面MASK进去。抠像后的画面在3D视图中不方便查看的话，可以在窗口右上角选择叠加不同的背景。

4. 接着我们在D2中添加billboard，并把与CAMTracker中同样尺寸的平面放到它的子级，这个平面的尺寸可以根据实际需要来设置。如果你要控制D2相机的FOV的话，就需要使用DMX信号进行控制，在DMX Settings中可以设置使用Artnet协议及域的编号，默认发送的域为0，地址码以1开始。通道表为1-12为常规DMX相机16bit的6个自由度通道，13-14为16bitFOV（FOV映射范围为1-100度），使用变焦数据时，记得激活上图中的浅蓝色按钮关联相关的数据驱动。不使用FOV数据时，记得点击最左边的那个小按键恢复到数据设置模式。15-18为屏幕跟踪16bit的X轴与Z轴（当然最好还是由PSN协议发送屏幕跟踪的数据）。如果只是发送不带FOV的相机数据的话，直接使用PSN协议即可，跟踪相机使用的PSN协议ID为0，跟踪屏幕使用的ID为1。