艾德思：VESPCN论文翻译



Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation              

  摘要 卷积神经网络实现了准确的图像超分辨率.

然而,最近受益于视频超分辨率中的时间相关性的尝试仅限于朴素或低效的架构.

在本文中,我们介绍了 时空亚像素卷积网络 ,有效地利用时间冗余,提高重建精度,同时保持实时速度.

具体来说,我们讨论了 early fusion , slow fusion​​ 和 3D卷积 在 多个连续视频帧 联合处理中的应用.

我们还提出了一种新颖的联合 运动补偿 和 视频超分辨率算法 ,其效率比竞争方式高几个数量级,依赖于在一个端到端可训练的 快速多分辨率空间转换模块 .

这些贡献提供了更高的准确性和时间上更一致的视频,我们在质量和数量上进行了确认.

相对于单帧模型,时空网络可以将 计算成本降低30％ ,同时 保持相同的质量 ,或者为类似的计算成本提供 的增益.

公开数据集的结果表明,所提出的算法在准确性和效率方面都超过了当前最先进的性能.

1. 介绍 图像和视频超分辨率(SR)是信号处理的长期挑战.

SR旨在从其低分辨率(LR)版本中恢复高分辨率(HR)图像或视频,并找到从医学成像到卫星成像的直接应用,以及促进诸如 作为面部识别.

然而,来自LR输入的HR数据的构造是非常不适合的问题,其需要解决额外的约束.

虽然这些约束通常取决于应用程序,但它们通常依赖于 数据冗余 .

在单图像SR中,其中仅提供一个LR图像,方式利用局部相关形式的固有图像冗余,通过施加 稀疏性约束 来恢复丢失的高频细节或假设其他类型的图像统计,例如 多尺度补丁递归 .

在多图像SR中,假设对同一场景的不同观察是可用的,因此 共享显式冗余可用于约束问题 并尝试直接反转缩减过程.

从图像到视频的转换意味着具有高度相关性的额外数据维度( 时间 ),也可用于提高精度和效率的性能范围

相关工作 视频SR方式主要是作为图像SR技术的改编而出现的.

核心回归方式已经被证明适用于使用 3D内核 而不是2D内核的视频.

字典学习方式 ,将LR图像定义为耦合到HR字典的字典原子的 稀疏线性组合 ,也已经从图像改编为视频.

另一种方式是 基于实例的补丁递归 ,其假设单个图像或视频中的补丁服从多尺度关系,因此可以从较粗尺度补丁推断出给定尺度的缺失高频内容.

Glasner等人成功地将其用于图像SR,后来又扩展到视频.

当使用从图像到视频的方式时,结合先前的知识通常是有益的,即 视频的相同场景的帧可以通过单个图像和运动模式来近似 .

估计 和 运动补偿 是进一步约束问题和暴露时间相关性的有力机制.

因此,很常见的是找到通过帧明确建模运动的视频SR方式.

一种自然的选择是通过使用从 现成的光流算法获得的位移场 来补偿帧间运动来预处理输入帧.

然而,这需要帧预处理并且通常很昂贵.

或者, 运动补偿也可以与SR任务一起执行 ,如Liu等人的 贝叶斯方式 中所做的那样,通过 迭代估计运动作为降尺度过程 的更广泛建模的一部分.

可以从数据训练以近似复杂非线性函数的神经网络技术的出现为包括SR在内的许多应用设定了新的性能标准.

Dong等人提出将卷积神经网络(CNN)架构用于单图像SR,后来由Kappeler等在视频SR网络( VSRnet )中进行扩展,该网络共同处理多个输入帧.

另外,利用 基于总变差 (TV)的光流算法补偿输入图像的运动表现出提高的准确度.

通过 循环双向网络 也研究了具有神经网络的SR的联合运动补偿.

基于CNN的方式的共同范例是在尝试解决SR问题 之前用双三次插值对LR图像进行放大 .

然而,通过内插增加输入图像尺寸显着影响CNN处理的 计算负担 .

Shi等人提出了一种解决方案.

利用 有效的亚像素卷积网络(ESPCN) ,其中从网络学习从LR到HR空间直接映射的放大操作.

这种技术 将运行时间降低了一个数量级 ,并通过使用 单帧模型独立处理帧 来实现实时视频SR.

基于 转置卷积 也提出了提高效率的类似解决方案.

  用意和贡献 用于高清(HD)视频SR的现有解决方案在实时执行时 未能有效地利用时间相关性 .

一方面,ESPCN 利用亚像素卷积进行非常有效的操作,但其对 视频处理帧的朴素扩展无法利用帧间冗余 并且 不会强制执行时间上一致的结果 .

VSRnet 另一方面,通过联合处理多个输入帧可以改善重建质量.

然而,对于 具有双三次升尺度的LR图像的预处理 以及使用 低效运动补偿机制 ,即使在小于标准清晰度分辨率的视频上,运行时间也 减慢 到大约每秒帧.

空间转换网络 提供了一种推断 两个图像之间空间映射参数 的方式.

这些是可区分的网络,可以与针对其他目标的网络无缝组合和联合训练,以提高其性能.

例如,最初显示空间变换网络通过将图像转换到同一参考帧上来促进图像分类.

最近,已经示出了空间变换怎样利用 无监督训练来编码光流特征 ,但是它们 尚未被研究用于视频运动补偿 .

假设刚性变换,视图合成已经出现了相关的方式.

在本文中,我们将 亚像素卷积 的效率与 时空网络 的性能和 运动补偿 相结合,以获得 快速准确的视频SR算法 .

我们研究了 early fusion , slow fusion 和 3D卷积 的 时间维度 的不同处理,之前已经意见将其从图像扩展到视频.

此外,我们构建了一个 基于空间变换的运动补偿方案 ,该方案与时空模型相结合,为视频SR提供了一种非常有效的解决方案,具有端到端可训练的运动补偿.

图1显示了所提方式的高级图.

图1:提出的视频SR的设计 端到端地学习运动估计和ESPCN模块以获得运动补偿和快速算法

 

本文的主要贡献是:

基于 亚像素卷积 和 时空网络 呈现视频SR的实时方式,提高准确性和时间一致性. 将 early fusion , slow fusion 和 3D卷积 作为发现 时空相关性 的替代架构进行比较. 提出一种基于 多尺度空间变换网络 的 密集帧间 运动补偿的有效方式. 将所提出的 运动补偿技术 与 时空模型 相结合,以提供一种高效的端到端可训练运动补偿视频SR算法. 2. 方式 我们的出发点是 实时图像SR方式ESPCN .

我们将分析限制在标准架构选择中,并且不进一步研究潜在有益的扩展,例如递归,残差连接或基于感知损失函数的训练网络.

在整篇文章中,我们假设所有图像处理都在 颜色空间中的y通道上执行 ,因此我们将所有图像表示为 2D矩阵 .

亚像素卷积SR 对于给定的LR图像 ,假设是低通滤波的结果,并且通过因子r下采样HR图像 ,CNN超分变量 可表示为

                                                                   

这里, 是模型参数, 表示从LR到HR的映射函数.

卷积网络将该函数模拟为由权重和偏置集合定义的L层的串联 ,每个串联之后是非线性 ,其中 .

形式上,每层的输出写为

                                           

其中 . 我们假设滤波的形状为 ,其中 和 表示层 中滤波器的数量和大小,单帧输入意味着 .

模型参数优化最小化给定 一组LR和HR示例图像对的损失 ,通常是 均方误差(MSE) :

                                                  

在从LR到HR的映射之前用双三次上采样预处理 的方式 强加了滤波器的输出数量是 .

使用 亚像素卷积 允许直接在LR空间中处理 ,然后使用 输出滤波器来获得具有形状 的HR输出张量,其可以被重新排序以获得 .

这意味着如果存在比双三次上采样更适合该问题的上采样操作,则网络可以学习它.

而且,最重要的是, 所有卷积处理都在LR空间中执行 ,使得这种方式非常有效.

时空网络 时空网络假设输入数据是时空信息的时间嵌入,使得代替单个输入帧 ,考虑连续帧序列.

这可以通过引入时间深度 的附加维度在网络中表示,其中输入深度 表示 奇数个连续输入帧 .

如果我们将时空块的时间半径表示为 ,我们将以时间 为中心的输入帧组定义为 ,方程(1)中的问题变成了

                                                                 

加权滤波器 的形状也通过它们的 时间尺寸 延伸,并且它们的张量形状变为 .

我们注意到可以考虑旨在 联合重建多于一个输出帧的解决方案 ,这可能至少在计算效率方面具有优势.

然而,在这项工作中, 我们专注于仅重建单个输出帧 .

图2:时空模型.

输入帧采用颜色编码,以说明它们对不同特征图的贡献,括号表示连接后的卷积.

在early fusion(a)中,网络的输入过滤器的时间深度匹配折叠第一层中的所有时间信息的输入帧的数量.

在slow fusion(b)中,第一层以小于输入帧数的组合并帧. 如果强制每层中的权重共享它们的值,则可以为每个新帧重用虚线上方的特征所需的操作.

这种情况相当于使用3D卷积(c),其中时间信息与空间和时间的卷积合并

 

2. Early fusion CNN处理视频的最简单方式之一是使 输入层的时间深度与帧数 相匹配 .

这将 折叠第一层中的所有时间信息 ,并且其余操作与单个图像SR网络中的那些相同,意味着 .

对于 ,图2a中示出了早期融合的图示,其中 时间维度已经被颜色编码 ,并且 省略了到2D空间的输出映射 .

这个设计已经被研究用于 视频分类 和 动作识别 ,也是 VSRnet 中提出的架构之一.

但是, VSRnet需要双三次上采样而不是亚像素卷积 ,相比之下,这使得框架 计算量大 且 效率较低 .

                           

.2 Slow fusion 另一种选择是在 分层结构中部分地合并时间信息 ,因此随着信息通过网络的进展而慢慢融合.

在这种情况下,网络层的时间深度被配置为 ,因此一些层也具有时间范围,直到所有信息已经合并并且网络的深度减小到1. 这种称为 slow fusion 的架构 比early fusion视频分类具有更好的性能 .

在图2b中,我们显示了一个slow fusion网络,其中 ,融合率定义是当 时 或者否则是 ,意味着在每一层仅合并两个连续帧或滤波器激活,直到网络的时间深度缩小到1. 请注意, early fusion是slow fusion的特例 .

                             

.3 3D卷积 slow fusion的另一种变化是 迫使层权重在时间维度上共享 ,这具有 计算优势 .

假设帧的在线处理, 当新帧变得可用时,可以重用前一帧的一些层的结果 .

例如,参考图2b中的图并假设底部帧是接收的最新帧,虚线上方的所有激活都是容易获得的,因为它们是处理前一帧所必需的.

这种架构相当于使用3D卷积 ,最初被提议作为学习时空特征的有效工具,可以帮助视频动作识别.

在图2c中示出了来自3D卷积透视图针对于该设计的图示,其中相对于图2b交换了时间和滤波器特征的布置.

                             

空间转换运动补偿 我们意见使用 有效的空间转换网络 来补偿馈送到SR网络的帧之间的运动.

已经示出了空间转换怎样能够有效地 编码光流来描述运动 ,因此适合于 运动补偿 .

我们将 补偿三个连续帧的块 以将补偿模块与SR网络组合,如图1所示,但为了简单起见,我们 首先在两个帧之间引入运动补偿 .

请注意,所使用的数据包含固有的 运动模糊 和 (解除)遮挡 ,即使未使用这些效果的显式建模,也可能会改善结果.

任务是找到将新帧 与参考当前帧 相关联的最佳光流表示.

假设光流是像素密集的, 允许将每个像素移位到新位置 ,并且所得到的像素布置需要 插值 回到规则网格上.

我们使用双线性插值 ,因为它最初提出的 薄板样条插值(thin-plate spline interpolation) 更有效.

光流是参数 的函数,并用对应于位移的两个特征图 表示 对于 和 维度,因此补偿图像可以表示为 或更多简明地

                                                      

我们采用多尺度设计来表示光流,这已被证明在经典方式以及最近提出的空间变换技术中都是有效的.

该设计的示意图在 图3 中示出,并且流量估计模块在 表1 中详述.

图3:空间转换运动补偿

                                          

表1:运动补偿转换模块架构.

卷积层由 内核大小(k) , 特征数量(n) 和 步幅(s) 描述

                                  

首先,通过 early fusion 两个输入帧并用 步幅卷积缩小空间维度来获得流量的 粗略估计.

用亚像素卷积对估计的光流进行放大 ,并且应用结果 来 融合缩放(warp) 产生 的目标帧.

然后通过 精细光流 估计模块将 被warp的图像 与 粗粗糙光流 和 原始图像 一起处理.

这使用具有步幅 和最终 放大阶段的单步幅卷积来获得更精细的光流图 .

通过用 总光流 来 融合(warp)目标帧 来获得 最终运动补偿帧 .

输出激活使用 tanh 来表示归一化空间中的像素位移,使得 ±1 的位移意味着从图像的 中心到边界 的最大位移.

为了 训练空间转换模块 以执行 运动补偿 ,我们优化其参数 以 最小化转换帧和参考帧之间的MSE .

与传统的光流方式类似,我们发现限制光流通常有助于其在空间中平稳表现,因此我们 惩罚Huber流量图梯度的损失 ,即

                                        

在实践中,我们用 (这里 )来估计 Huber损失 .

这个函数临近原点具有平滑的L2行为,远离远点稀疏性越大.

空间转换模块 相对于其他运动补偿机制是有利的,因为它 直接与SR网络组合 以执行联合运动补偿和视频SR.

参考 图1 ,相同的参数 可用于 模拟外部两个帧相对于中心帧的运动 .

空间转换模块和SR模块都是 可区分的 , 因此端到端可训练 .

因此,它们可以联合优化以最小化复合损失,将 方程(3)中的重建精度 与 方程(6)中的运动补偿 的保真度(fidelity)相结合,即

                                            

3. 实验和结果 在本节中,我们首先单独分析视频SR的时空网络,然后评估引入运动补偿的好处.

我们限制我们的实验来解决全高清视频分辨率 (1080×1920) 的 ×3 和 ×4 升尺度,并且不应用压缩.

为了确保方式的公平比较,网络参数的数量需要具有可比性,以便性能的提升可归因于网络资源分配的特定选择,而不是容量的微不足道的增加.

对于第1层,用于重建帧浮动点操作的数量近似为

                                                 

在测量具有权重共享的slow fusion网络的复杂性时,我们看一下 稳态操作 ,其中 一些层的输出从一帧到下一帧重复使用 .

我们注意到一篇文章中 对VSRnet变体的分析没有考虑模型的复杂性 .

实验设置 3. 数据集 我们使用 CDVL数据库 ,其中包含 115个未经压缩的全高清视频 , 不包括重复视频 ,并选择 100个视频的子集 进行训练.

缩小视频并从每个 HR-LR视频对中提取30个随机样本以获得3000个训练样本,其中5％用于验证 .

根据网络架构,我们将样本称为单帧网络的单个输入输出帧对,或者作为连续LR输入帧的块和用于时空网络的相应中心HR帧. 其余 15个视频用于测试 .

虽然训练框架的总数很大,但我们预计所提出的方式可以从更丰富,更多样化的视频集中受益.

此外,我们针对文献中反复使用的公开视频提供针对各种SR方式的基准,我们将其称为 Vid4 .

3. 网络训练和参数设置 所有SR模型都 遵循相同的协议 进行训练,并 共享类似的超参数 .

过滤器大小设置为 ,并且除了输出层之外,所有非线性 都是整流的线性单元,其使用线性激活.

意见,将 偏差初始化为0 并且 权重使用正交初始化 和 增益 .

所有隐藏层 被设置为具有 相同数量的特征 .

视频样本被分解为 33×33 的空间维度的 非重叠子样本 ,其被随机分组以用于随机优化.

我们使用 Adam ,学习率为 , 初始批量为1 .

每 10个epoch批量大小加倍 ,直到达到 最大值128 .

我们为网络 时间深度为1 的层(图2a到2c中的灰色层) 选择 ,并且保持我们选择的可比较的 网络大小 .

这确保了 early 和 slow fusion 网络中每个隐藏层的特征数量始终相同.

例如,如 图2b 所示的网络,其中 当 且 , .

对于 SR , 6层 网络中的特征数量将是 6,8,12,24,24, .

时空视频SR 3. 单帧与多帧early fusion 首先,我们研究了输入帧数对复杂性和准确性的影响,而没有运动补偿.

我们将 单帧模型(SF) 与 使用3 , 5 和 7输入帧(E3,E5和E7) 的 early fusion时空模型 进行比较.

对于 6 到 11层 网络的 CDVL数据集 的 峰值信噪比(PSNR) 结果绘制在 图4 中.

利用 时空相关性 提供了相对于帧的独立处理的更准确的结果.

early fusion的复杂性增加是 微不足道的 ,因为只有 第一层有助于增加操作 .

图4:使用单帧模型(SF)和多帧早期融合模型(E3-7)的CDVL×3 SR

                                

尽管时空模型的准确性相对类似,但我们发现 E7略微表现不佳 .

超过5帧 的时间依赖性可能变得过于 复杂 ,以至于网络无法学习有用的 信息 并充当 降低其性能的噪声 .

还要注意,虽然 单帧网络 的 8层后网络深度的性能提升最小 ,但这种增加对于时空模型更加一致.

3. Early fusion与Slow fusion 在这里,我们比较 节 中讨论的 时间维度的不同处理 .

我们假设输入为 5帧 的网络和具有 滤波器时间深度2 的 slow fusion模型 ,如图2所示.

使用 SF , E5 , S5 和 S5-SW 来指代使用slow fusion的 单帧网络 和 5帧输入网络 , slow fusion 和 共享权重的slow fusion ,我们在 表2 中显示了 7层 和 9层网络 的结果.

如前所述,相对于单帧模型,slow fusion网络在操作边际增加 3％ 时获得 更高的准确度 ,并且预期的slow fusion架构提供了效率优势.

slow fusion比early fusion更快 , 因为它在初始层中使用较少的特征 .

参考方程(8),slow fusion在 第一层中使用 并且 ,这导致比在early fusion中使用的 更少的操作.

表2 时空架构的比较

                                         

虽然 7层网络 使用slow fusion相对于early fusion而言精确度显着降低,但 9层网络 可以从相同的准确度中 受益 ,同时通过慢融合将其 复杂性降低约30％ .

这表明 在浅层网络中 ,网络资源的最佳利用是利用 全网络容量来共同处理所有时间信息 ,如early fusion所做的那样,但在更深层网络中慢慢融合时间维度是有益的,并为视频分类提供的结果.

此外,由于网络参数的减少,权重共享降低了准确性,但网络特征的可重用性意味着每帧需要的操作更少.

例如,7层S5-SW网络显示减少了近30％的操作,相对于SF的精度降低最小.

然而,使用 7层E5 显示出比具有9层的S5-SW更好的性能和更快的操作,并且在所有情况下我们发现early fusion或slow fusion在这种性能和效率权衡中始终 优于 具有 共享权重的slow fusion .

时空域中的卷积显示为适用于视频动作识别 ,但具有更大的容量和更多的帧联合处理.

我们推测这可能是为什么从这个高级别视觉任务中得出的结论不能推断出SR问题的原因.

运动补偿视频SR 在本节中,所提出的帧 运动补偿 与 时间深度 的 early fusion网络 相结合.

首先,使用等式(7) 独立地训练 运动补偿模块,其中第一项被忽略并且 .

这导致网络将通过估计 外帧相对于中间帧 的光流图来 补偿三个连续帧的运动 .

图5 中示出了针对一帧获得的光流图的示例,其中我们还示出了运动补偿模块对三个连续帧的影响.

图5:空间转换模块运动补偿.

上:估计将原始帧与其连续帧相关联的光流图.

底部:没有和具有运动补偿的三个连续帧的部分(无MC和MC).

MC的错误图不太明显.

                                       

early fusion运动补偿SR网络(E3-MC)通过补偿和SR网络分别进行初始化,然后用 Eq(7) 联合优化完整模型.

表3中 将CDVL上的(  SR)结果与单帧( )模型和没有运动补偿的early fusion( )进行比较.

导致PSNR有时几乎是 相对于 的两倍的改进,我们将其归因于 网络适应SR输入以最大化时间冗余的事实 .

在 图6 中,我们展示了怎样在更好的结构保存中反映出这种改进.

图6:运动补偿×3 SR 

联合运动补偿和SR(c)比单独的时空SR(b)产生结构上更准确的重建.

                                          

表3:使用单帧(SF)和3帧early fusion的CDVL×3 SR的PSNR,没有和有运动补偿(E3,E3-MC)

                             与最先进的技术进行比较 我们在 表4 中显示了 Vid4 对 SRCNN , ESPCN , VSRnet 的性能以及我们称之为 视频ESPCN(VESPCN) 的方式.

为了证明其在效率和质量方面的优势,我们评估了两种融合模型: 5层3帧网络(5L-E3) 和 9层3帧网络,带有运动补偿(9L-E3-MC) .

比较的 指标 是 PSNR ,结构相似性( SSIM )和 MOVIE指数 .

MOVIE指数被设计为衡量与人类感知相关的视频质量的度量,并结合了时间一致性的概念.

我们还直接比较所有基于CNN的方式的每帧操作次数,以扩展通用1080p帧.

SRCNN,ESPCN和VSRnet的重建使用了作者提供的模型.

SRCNN,ESPCN和VESPCN在Theano和Lasagne上进行了测试,对于VSRnet,我们使用了可用的Caffe Matlab代码.

我们在所有重建中裁剪空间边界以及初始和最终帧,以便与VSRnet进行公平比较.

表4:Vid4视频的性能 

* VSRnet不包括运动补偿所需的操作.

           

.1 质量比较 图7 中针对 运动补偿网络 示出了 视觉差异 的示例.

从特写图像中,我们看到了怎样通过提出的VESPCN方式更好地恢复原始视频的结构细节.

这反映在 表4 中,它 大大超过 了PSNR和SSIM中的任何其他方式.

图7还示出了通过 25个连续帧 的虚线突出显示的行上的时间轮廓,证明了所提出的重建的更好的 时间相干性 .

VESPCN的 大时间相干性 也解释了 MOVIE指数的显著降低 .

图7:Vid4上×3 SR的结果.

浅蓝色数字显示SRCNN,ESPCN,VSRnet,VESPCN(9L-E3-MC)和原始图像的结果.

紫色图像显示了来自原始图像中所示的虚线的25帧的对应时间分布.

VESPCN在视觉上产生最准确的结果,包括空间和时间

 

.2 效率比较 表4 中方式的 复杂性 由 网络 和 输入图像大小 决定.

SRCNN和VSRnet在尝试超分它们之前上采样LR图像,这大大增加了所需的操作次数.

VSRnet 特别昂贵,因为它处理 64 和 320个 特征层中的 5个 输入帧,而亚像素卷积大大减少了 ESPCN和VESPCN要求的操作.

作为参考, ESPCN×4 在 K2 GPU 上以 每帧29ms 的速度运行.

时空网络的增强功能允许相对于ESPCN减少VESPCN的网络操作,同时仍然匹配其准确性.

作为一个例子,我们展示了带有 5L-E3 的 VESPCN ,相对于ESPCN, 操作次数减少了约20％ ,同时在所有评估的质量指标中保持了类似的性能.

表4 中包含的带有 9L-E3-MC的VESPCN 中的运动补偿操作,对于 和 放大,达到 和 2.0 GOps ,对于需要运动补偿的每个输入帧 应用两次 .

这使得所提出的运动补偿视频SR相对于其他方式非常有效.

例如,据说VSRnet中的运动补偿 每帧需要55秒 ,并且是计算瓶颈.

这在表4中未考虑,但是比具有9L-E3-MC的VESPCN慢 ,其可以以 秒的量级运行.

VSRnet中的光流方式最初显示为在GPU上以29ms运行,每帧尺寸为 512×383 ,但考虑到超过单帧HD尺寸需要运动补偿,这仍然比意见的解决方案慢得多.

4. 结论 在本文中,我们将 亚像素卷积的效率优势 与 时间融合策略 相结合,以呈现视频SR的实时时空模型.

所使用的时空模型被示出为 促进重建精度 和 时间一致性的改进 或相对于 独立单帧处理降低计算复杂度 .

所研究的模型通过基于 空间转换网络的运动补偿机制 进行扩展,该机制对于视频SR是高效且可联合训练的.

与单独的时空模型相比,使用 包含显式运动补偿的方式 获得的结果在PSNR和时间一致性方面被证明是优越的,并且优于视频SR中的当前技术水平.

 

 

更多科研论文服务，动动手指，请戳 论文润色、投稿期刊推荐、论文翻译润色、论文指导及修改、论文预审！

语言不过关被拒？美国EditSprings--专业英语论文润色翻译修改服务专家帮您！