虚拟演播室系统分析_计算机论文

虚拟演播室系统分析

    虚拟演播室系统诞生的时间不长，但它的发展却比当初人们预料的要快，并迅速成为电视领域中的一个热点。近年来，随着社会竞争的日趋激烈，业界人士都在为如何在更短的时间里，花更少的钱，做出更多的节目而绞尽脑汁。因此，电视节目制作的效率和产出率必须提高，以适应社会发展的需要。而虚拟演播室技术正是在这一领域进入角色。虚拟演播室(virtual studio)技术，简称vs，又称虚拟布景技术。它将摄像机拍摄的图像实时地与计算机三维图形进行合成，从而形成一种新的电视节目制作系统。它具有一些传统演播室无法达到的功能和优点，它可以更为有效的利用演播室资源，节省大量的制景费用及装、拆布景所耗费的时间和人力，这一技术还使编导、美工人员摆脱了时间、空间及道具制作方面的限制，充分发挥其想象力进行自由创造，并能完成一些其它技术做不到的特技效果，为电视制作开辟了一个崭新的空间。

一．虚拟演播室技术与色键技术

    色键技术是电视节目制作中常用的技术。站在蓝色幕布前面的演播室主持人由前景摄像机拍摄，在特技机的色键电路中，由主持人的画面产生键信号，在主持人画面与背景画面进行叠加时，由键信号挖去背景中蓝色以外的画面，而把主持人的图像嵌插在背景画面中，形成了主持人置身于背景画面的图像，这种技术俗称为“抠像”，在普通的色键技术中，背景画面往往是已经录制好的节目。

    虚拟演播室技术与色键技术十分相像，它也是由前景的主持人为主的画面和背景画面，采用色键的方法构成一体，产生人物置身于背景的组合画面。然而，在真正的虚拟演播室技术中，背景是由计算机产生的，计算机接受摄像机的控制，随着摄像机的推拉摇移，改变俯仰角度，计算机相应改变画面的大小和角度，并且为了正确再现前景与背景的空间透视关系，还需对前景和背景实施空间锁定， 这种空间锁定是通过精确测定摄像机的所有定位参数(包括镜头调整参数)来实现的。

二、虚拟演播室的原理

    虚拟演播室的原理如图(1)所示，主持人一般是在呈“u”型或“l”型的蓝箱里做着各种表演，实际的、或“真实”的前景摄像机对其进行拍摄，背景图像(画面装饰、道具和风光布景)大都是三维立体图，由制作人员预先用计算机生成(即预先着色好)，前景与背景图像在传输或录制过程中混合。这种合成图像的制作方式即被称为“虚拟”。故此，这种图像摄录系统也被称为“虚拟摄像机”，与传统的蓝幕色键技术截然不同的是，虚拟演播室技术中的真实摄像机(前景图像)与虚拟摄像机(产生背景图像)始终保持同步互锁，为此，必须对真实摄像机的以下参数进行确定：

(1)蓝幕背景的x、y、z坐标值。

(2)摄像机的俯仰、摇移以及可旋转角度的数值。

(3)镜头的焦距和聚焦。

然后，真实摄像机的所有上述参数都送入计算机分析，系统对与前景图像相关的虚拟背景图像发出控制指令。最后，录有表演者和真实道具的前景图像与计算机生成的背景图像在色键控制器里合成为一幅画面，传送至视频切换台输出。

    由此可见，虚拟演播室系统可分解为三个部分：摄像机跟踪部分、计算机虚拟场景生成部分及视频合成部分。

1.摄像机跟踪部分。

    摄像机在拍摄过程中有平移x、纵移y、高度移z、水平角、俯仰角、镜头变焦z00m，聚焦focus等变化，这些参数的改变会引起所摄图像视野与视角的改变，为了模拟人物所在的三维环境，计算机必须根据这些参数不断调整三维视图。而摄像机跟踪部分的作用正是收取摄像机的位置和运动数据，实时的跟踪真实摄像机，以保证前景与计算机背景“联动”。由于这种“联动”是以高速计算机运算的结果，而这种运算永远是存在着一个运算时间，所以这种“联动”是有时间差的。只是设计者保证使这种时间差在一个人眼不易察觉的范围之内，因此要求前景摄象机只能在一个有限的速率内改变位置参数。 目前虚拟演播室的摄像机跟踪系统主要有以下几种方式。

     (1) 基于传感器的系统。 该系统通过安装在摄像机各部分的机械传感器来获取各种信号参数， 平面x、y位移传感器，一般有光电式、机械式和导轨式等几种，光电式属非接触型，误码率低，连续性好，且摄像机移动不受限制，但必须在摄像机移动通道地面画上格点，以便识别。机械式属接触型，由一个与地面相摩擦的圆球带动水平、垂直两个方向的光电码盘，光电码盘送出x、y数据，此方式摄像机移动也不受限制，但使用时间长了易产生误差。导轨式误码率低，且必须铺设轨道，使摄像机的移运受到一定的限制。 高度位移z传感器，一般安装在升降机上，随升降机的运动检测z信号。 水平角度和俯仰角度传感器安装在摄像机云台上，并分别与云台的水平转轴和垂直转轴连动。 聚焦focus和变焦z00m传感器，则附于镜头的聚焦齿轮和变焦齿轮处。 该系统速度很快，方法较为简便直接，是目前虚拟演播室最常用的摄像机 跟踪方式，但该方式有其固有的缺点，比如得到的摄像机参数精度不高，限制了摄像机的运动，系统的标定很麻烦等等。

    (2)基于图形分析系统 该方式需要把一个精确的网络图案以两种不同的蓝色形状绘制于蓝背景上，通过摄像机识别这种图案并与计算机跟踪软件及硬件，预先确定的模型进行对比，以确定物体与虚拟背景的透视关系及距离。 该系统精度较高，无需镜头校准，同时摄像机可以不同轨道进行运动，但该系统在对蓝色网格图案制作色键过程中的阴影很难处理，很难保持良好的键的质量，摄像机拍摄不能垂直于蓝色网格图案，必须偏离30度角以上，否则不能准确定位，而且摄像机必须同时观察4个网格点以保持跟踪，这就不可能对人物进行特写镜头的拍摄，摄像机必须缓慢移动以避免跟踪混淆引起跳帧。还有一点，此系统需要额外的工作站把网格坐标信息转换为摇移，俯仰及变焦坐标供图形计算机使用，这样图案辨识的延时有时高达8至12帧。鉴于上述须待解决的若干问题，网格识别方案在目前的虚拟演播室系统中使用的不多。

2.计算机虚拟场景生成部分

    虚拟演播室的场景是计算机绘制的图形，计算机绘图有二维和三维之分，因而虚拟场景也有二维和三维之分，二维场景没有厚度，只是一个平面图形，所以二维虚拟场景只能作为背景平面，出现在真实人物的后面，而三维虚拟场景中的景物具有z方向的厚度，是立体的，以背景中的一个长方体为例，长方体是一种六面体，其底面和背面一般是看不见的。然而随拍摄角度的不同，有可能看见其正面，侧面和顶面。在计算机中应保存其正面、侧面和顶面的图像，实际上，在计算机内，其正面、侧面和顶面的图像都分解为像素的形式，保存在存储器中，当摄像机处于任意的角度位置时，计算机即进行计算，获得相应的画面。同时，三维的场景中，虚拟景物既能作为真实人物的前景出现，也能作为背景出现如图(2)所示: 并且真实人物还能围绕虚拟景物运动如图(3)所示：

    这样在视觉效果上更具纵深感，更加真实。显然对于计算机的运算能力、运算速度提出了很高的要求。当然还必然进一步考虑许多细节问题，比如灯光和阴影的问题，当摄像机改变其取向位置时，根据照明条件，阴影部分将发生相应的变化，背景画面应该能够反映出这种变化。
3.视频合成部分
    虚拟演播室系统视频合成的基本技术是色键器抠像，摄像机拍摄的蓝幕布前的真实景物：通过色键器进行抠像处理，与计算机生成的虚拟场景合成一个画面。
(1)深度合成技术
虚拟演播室的一个基础就是前景和背景合成的时候，前景的演员可以被背景的内容覆盖，为了做到这一点，一般都采用深度合成技术。所谓深度就是前后关系，这一种技术要考虑两路键信号的深度信息，就可以让背景的内容在演员前面。这不同于二维图像的层技术。因为是三维图像的各像素都带有深度信息，而且各像素还有与摄像机的距离的信息，由这两部分的信息决定前景和背景的像素的可见性。在实时生成的时候，高性能的终端通常使用一个深度缓冲区来贮存像素的深度值，但是在常规演播室里面，实际信号是没有深度信息的。而且也没有一个方法能够实时的赋予前景信号以深度，可以采用一个估计值，即估计摄像机与演员之间的距离，前景信号通过色键抠像得到演员部分的信号，先与背景作常规意义上的合成，得到色键序列值，这一部分确定了前景在背景中的位置，再由深度值来进行前后关系的调整，最后输出的深度键值序列就确定了前景和背景的可见性，能够按常规方法合成。
(2)同步技术
 要使前景和背景天衣无缝的合成，既要让两个摄像机的参数保持一致，还要让两个摄像机同步，因为当进行实时合成时，前景信号的每一帧是与背景信号的对应帧合成。背景信号因为摄像机跟踪系统和实时生成都要耗费时间，所以要让前景信号延时来保证与背景信号的同步合成。

三、系统的实现
  从上面的原理分析可以发现，虚拟演播室每生成一帧图像，就要处理相当多的数据，在实拍时还要求处理速度，达到实时的电视速率，即一秒钟就有25帧图像，如果按常规的处理方法，一切由计算机串行处理，是绝对不可能完成的，这就对虚拟演播室的软硬件设计提出了较高的要求：
1.硬件工作平台
  为了使虚拟背景画面与摄像机摄取的前景画面相配合，系统至少要工作在配置有视频处理板的sgi高性能工作站，同时为了完成实时的图像序列生成，必须把这个任务按处理内容分类进行并行处理；实时的完成摄像机跟踪运算，完成人工背景和实际信号深度，支持三维自动建摸的多重处理，对于预处理结果的描述和图像处理的工作，每一个任务要有一个专门的硬件来完成。
2.软件系统
  软件系统设计的思想是根据硬件的并行处理的特点，一般采用自适应并行处理的计算。这个处理在实际上就是由一系列的处理器组成的服务器盒，这个服务器盒能完成虚拟演播室所需的各种处理，另外，自适应并行处理模式将运行和编程分开。不需要在编写程序时作并行处理的考虑，因此该种设计方法，因为处理问题较为灵活而成为虚拟演播室软件设计思想的主流。

四、虚拟演播室的现状与未来
    自从1994年第一套虚拟演播室在国际广播电视会议上展示以来，世界上有很多厂家推出了自己的虚拟演播室系列，但主要的有四个厂家即：
(1)以色列的orad公司以其独有的模式识别技术和图像处理技术开发出高性能cyberset o及入门级cyberset et系列产品。
(2)离散逻辑公司的vapour是采用高性能终端，全功能的实时虚拟演播室系统。
(3)e s公司的mindset是基于nt平台，采用orad公司的摄像机跟踪系统，能够接多个摄像机。
(4)rtset公司的larus otus采用传感器跟踪技术，速度快，提供了灵活的合成能力。

  另外还有accom的elset自动生成特征，让用户能很方便的根据自己的意愿来建模和灯光设计；digmedia的brainstorm estuio产品是采用模式识别方法定出摄像机的参数，在建模上功能比较强；for-a的didi wmp采用了orad公司的视频处理和延时设备，采用多通道结构，能实时处理等。
  因为高性能产品整套系统的价格比较高，难以普及，所以各厂家又推出了入门级产品，如orad的cyberset e以满足众多的电视台和影视制作单位，采用性能较低的终端如：sgio2采用windows nt作为平台，进行非实时的图像合成，系统采用开放式结构可以扩充到高性能的实时系统。
  就目前情况看，虚拟演播室相对于传统演播室的优势是不言而喻的，但就其未来的发展，虚拟演播室还需要解决其自身的若干缺限：
·蓝景区中主持人及演员的活动范围及定位。
·为抑制噪声边缘需要在实施键控时格外小心。
·普遍使用的槽置单调光、柔光。
·演员投在虚拟地面、墙面和人工景物上真实阴影的保存。
·自动z键(深度)控制。
·前后景的同步及延时控制。

结论
虽然虚拟演播室还有其自身一些有待解决的问题，但我们完全有理由相信，随着计算机图形处理技术及多媒体技术的发展，随着视频数字化的发展，虚拟演播室技术会日趋完善，其前景非常广阔，必将会带动电视领域的一场革命。