桑 涛 唐 述
1(中国冶金科工集团有限公司信息化管理部 北京 100028) 2(重庆邮电大学计算机科学与技术学院 重庆 400065)
随着无线通信技术(如LTE、5G、移动云计算等)的快速发展以及近期诸多裸眼三维移动智能终端设备的不断涌现(如HTC EVO 3D、Optimus 3D、Sharp Lynx等)，基于三维视频(Three-dimensional Video，3DV)的移动应用展现出了巨大的市场潜力。目前，多视点视频+深度图格式(Multi-view Video plus Depth，MVD)[1]被广泛应用于三维视频的表示。MVD格式包含一组从不同角度的摄像机同时拍摄的多视点视频(Multi-View Video，MVV)以及其对应的深度图。显然地，三维视频的数据量与传统的二维视频相比成多倍数增加。另一方面，无线网络信道的剧烈变化对于三维视频的传输也是一个巨大的挑战，这也极大地阻碍了移动三维视频应用的发展。
典型的无线视频传输技术建立在香农理论的基础之上，通过设计串联的独立信源编码以及信道编码来实现高效的传输。信源编码即是通常所指的视频编码/压缩技术，通过消除原始视频信号中的冗余来降低视频信号的数据量进而有效降低传输带宽，三维视频编码通常采用3D-HEVC[2]编码技术。信道编码则采用前向纠错编码(Forward Error Correction，FEC)以处理并纠正由于无线信道干扰带来的传输错误。目前被广泛使用的信道编码包括Turbo码、卷积码、LDPC码等。在信源信道编码之前信道条件已知的假设前提下，香农的独立编码理论可以通过为信源编码和信道编码分别分配合适的码率来实现传输带宽受限情况下的最优传输性能。然而，这个假设条件显然不适于无线传输场景，因为无线信道在很多情况下都存在剧烈的变化。独立信源+信道编码方法的一个主要缺点是悬崖效应(Cliff Effect)。当实际信道质量低于一个下界时，接收端的视频重建质量会急剧恶化，这主要是由于信道编码已经无法恢复恶劣的信道条件带来的传输错误；
而当信道质量高于一个上界时，接收端的视频重建质量将不会再继续提高，这主要是由于视频质量的上限值已经在信源编码时由视频压缩的量化参数事先所决定。而理想的情况是视频质量随着信道质量的提高不断线性提升。
近年，MIT的研究人员提出一种被称为软传输(SoftCast)的跨层技术用于无线视频传输[3-5]。不同于典型的独立信源+信道编码方法最终传输的信号是二进制比特流，软传输最终传输的信号是一系列线性相关于像素值的实变换系数。这种传输方式本质上是有损的，信道噪声直接转化为视频信号的重构误差。基于此，软传输技术消除了悬崖效应，并在一个宽范围的信道信噪比(Signal-to-Noise Ratio，SNR)内实现了接收端视频重建质量的线性变化。同时，软传输只需要在发送端发送唯一的视频信号便可满足许多不同信道条件的接收端。
由于软传输技术随信道条件变化具有的良好的质量线性变化特性，使之成为一个非常具有吸引力的方向。文献[6]对软传输技术进行了理论分析，并建立了一个量化指标用于衡量变换及信号能量分布的效率。文献[7]分别提出了能量建模、系数偏移、数据划分策略用于进一步提升软传输技术的性能。Hadizadeh[8]提出结合显著性分析的方法用于提升软传输接收端的主观视频质量。为了进一步消除时域和空域的冗余度，文献[9]采用运动补偿时域滤波技术(Motion Compensate Temporal Filter，MCTF)和离散小波变换(Discrete Wavelet Transform，DWT)实现更为高效的软传输方案。文献[10]则将软传输技术与分布式视频编码技术相结合以获得分布式的性能提升。基于软传输技术，文献[11]提出了一种被称为混合数字模拟编码(Hybrid Digital-Analog，HDA)的方案。HAD的关键点是将软传输结合到典型的数字视频编码架构中，从而实现对数字编码和软传输优点的同时利用。此外，软传输技术还被应用于卫星遥感图像的传输[12]和云视频的无线传输。综上所述的软传输技术的目标都是针对传统的二维自然视频信号，针对三维视频软传输的研究目前还比较欠缺。文献[13]及文献[14]针对自由视点视频提出将纹理视频和深度图组合并简单地扩展三维DCT变换到五维DCT变换以提升软传输的变换增益，但由于深度图和纹理视频的特性存在极大差异，因此性能还有较大的提升空间。文献[15]针对三维视频的深度图软传输提出了基于分块DCT变换的优化方案，但该方案暂时未对多视点纹理视频软传输进行研究。文献[16]对多视点纹理视频和深度图的传输进行了功率分配，以期在功率一定的情况下，最大化接收端合成视点的重建质量。
虽然软传输技术实现了高效的二维视频无线传输性能，但其并不适应于三维视频的无线传输。直观地，为了实现高效的多视点视频传输性能，需要充分利用多视点之间的冗余性[13]。受此启示，本文提出一种多视点视频无线软传输方法。本文的创新点主要体现在两个方面：(1) 从理论增益公式出发，分析了多维DCT变换的增益影响因素，并针对多视点纹理视频提出四维离散余弦变换用于提升软传输的变换增益；
(2) 根据变换系数分布特性出发，对辅助数据的传输进行了推导优化以降低传输块的平均能量。
软传输是一种非常简单但高效的无线视频传输方案。为了保证整个系统是完全线性的，软传输丢弃了典型的量化和熵编码过程。软传输方案的结构如图1所示。发送端包含五个步骤：线性变换、块划分、功率分配、哈达玛变换、实值映射。首先，线性变换被作用于每一个图像组(Group of Picture，GOP)以消除原始视频信号的空域和时域冗余。软传输方案采用的变换是三维离散余弦变换(3D-DCT)；
第二，变换后的系数被分组组成若干数量的块(chunk)以便于传输(块是软传输的基本传输单元，用于减小辅助数据的数据量)；
第三，块级的功率分配通过为传输系数分配最优的缩放因子以用于减小传输失真；
第四，哈达玛变换通过进行块间的能量重分布以增强对信道噪声的容错能力；
最后，成对的变换系数被直接映射到正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)的同相(in-phase，I)和正交(quadrature，Q)分量进行发送。此外，图1中的辅助数据A用于传输块划分信息(块均值和方差)，图1中的辅助数据B用于传输分块的功率分配缩放因子。文献[7]中指出该辅助数据A和B的数据量可以被忽略不计(仅仅只有0.014bit/pixel)。同时，为了保护该辅助数据不受信道噪声的干扰，采用最低码率的FEC编码和二进制相移键控调制(Binary Phase Shift Keying，BPSK)以保证可靠传输。
接收端首先采用最小二乘估计(Least Linear Square Estimation，LLSE)获取原始传输系数的最优估计。其余的步骤均为发送端对应过程的完全可逆操作。
最优的策略是为每一个传输系数分配一个缩放因子。然而，这需要传输大量的辅助数据以至于不可实现。作为折中方案，软传输采用块级的功率分配，即每一个分块分配一个缩放因子。假设划分的块数目为M，每一个块的系数个数为N，则第i个块的最优功率分配缩放因子为[3]：
(1)
式中：Ptotal为可用总功率；
λi为第i个分块的平均能量(方差)。因此，整个重建视频信号的最小失真为：
(2)
基于如图1所示的软传输框架，针对多视点视频提出两个方面的优化策略以实现更高的传输性能。优化策略的详细描述如下。
2.1 针对多视点视频的四维离散余弦变换
类似于离散余弦变换(DCT)的线性变换主要用于降低原始视频信号的冗余度进而提升传输效率。面向传统二维视频的软传输技术采用三维离线余弦变换(3D-DCT)消除空域(水平和垂直方向)以及时域的冗余。对多视点视频而言，还存在视角之间的冗余。因此，直观的思路即是将3D-DCT扩展至四维离散余弦变换(4D-DCT)，其中增加的第四个维度用于处理视角间的冗余。假设用I(v,t,x,y)表示多视点视频的像素值，其中：v为视角索引；
t为帧索引；
x和y为水平和垂直坐标。则对I进行4D-DCT可以表示为：
(3)
式中：S是一个集合，S={V,T,X,Y}。
(4)
式中：D为总视角数；
G为图像组的帧数；
N为分块大小；
cv(V)、ct(T)、cxy(X)、cxy(Y)为式(5)所示的四个常量。
(5)
根据文献[6]的分析可知，软传输中某种特定变换的传输增益的测量如下：
(6)
2.2 基于变换系数分布特性的辅助数据优化
在软传输的设计中，每一个系数分块的均值被当作辅助数据传输，而残差系数则直接映射到OFDM的I和Q分量进行传输。然而，这样的设计离最优性能还有很大的差距。假设ωi是第i个分块中绝对值最大的变换系数，μi为第i个分块的系数均值。如果ωi被当作辅助数据进行传输，而分块中其他的系数均采用OFDM直接传输，则第i个分块的平均能量会变为：
(7)
假设如下关系成立：
(8)
则有：
(9)
因此，式(9)的结论会降低Α，进而有效地提高传输性能。
DCT变换最重要的性质是将信号能量集中在一小部分系数，且变换系数的数值大小从低频到高频急速衰减。更为具体地说，系数近似地沿对角线方向从DCT变换块的左上角到右下角迅速递减。因此，同一个DCT变换块的系数值差异非常大。基于这样的性能，对两个典型的图像(Lenna和Pepper)分析ωi和μi是否满足如式(8)所示的关系。结果表明，70%的分块满足式(8)所示的关系。同时，通过采用ωi取代μi作为辅助数据，可以极大地降低左上角分块的平均能量。另一方面，左上角的系数通常具有最大的信号能量。因此，可以通过如下的策略对多视点视频软传输的辅助数据进行优化：
图4展示了上述基于变换系数分布性质的辅助数据优化的效果。可以看到，该优化将分块平均能量和从908.456 5降低至590.636 9，实现了40%的降低，这可以实现非常明显的传输性能改进。
为验证本文所提出多视点视频无线软传输优化技术的性能，对典型的三维视频序列进行仿真实验。
测试序列：四组三维视频序列用于仿真实验，表1给出了测试序列及其参数配置。
表1 测试序列及配置
无线仿真环境：802.11无线仿真物理层链路被用于仿真实验，采用MATLAB Communication ToolBox实现，并在高斯信道下进行仿真实验。辅助数据采用1/2码率的卷积码和BPSK调制进行传输；
变换系数成对直接映射到OFDM进行传输，其中OFDM的参数配置采用802.11 a/g的参数设置。此外，仿真的信道信噪比范围为4～15 dB，图5为物理层链路实现细节。
评价指标：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)指标用于评估重建视频质量。PSNR指标定义如下：
(10)
式中：MSE为重建视频像素与原始视频像素的均方误差。在本文涉及的多视点视频中，所有视点的平均PSNR作为最终的评价标准。
在仿真实验中，分块大小设置为64×48，GOP大小设置为8。实验对比测试分别为本文方法、原始软传输方法[3]、采用4D-DCT的软传输方法及参考文献[13]所提方法。
4个测试序列的仿真实验结果如图6所示。可以看到，4种软传输方法都在整个信道信噪比范围内实现了线性的质量变换，从而消除了典型信源信道编码传输方法的悬崖效应。横向对比4种软传输方法，可以看到采用4D-DCT的软传输方法及参考文献[13]相比于原始的软传输方法实现了2至4 dB的性能提升；
而本文所提结合了基于变换系数分布特性的辅助数据优化的方法则可以进一步提升传输性能，提升幅度为2至5 dB。此外，图7给出了两帧图像的主观质量对比。可以看到，本文方法相比于原始软传输方法提供了更佳的视觉主观视频质量。
本文提出一种多视点视频无线软传输优化方法。首先为了降低视点间的冗余，将线性变换扩展至四维离散余弦变换；
其次，为了进一步降低分块的平均能量，提出基于变换系数分布特性的辅助数据优化方法。仿真实验结果表明，本文方法可以对多视点视频软传输提升5～8 dB的传输性能，同时也提高了重建视频的主观视频质量。