 |
||||||||||
| 主页 | 新闻 | 实验室成员 | 研究领域 | 科研成果 | 科研项目 | 加入我们 | ||||
在彩色图像处理中，对一幅图像中缺失或遮挡的部分进行补全是一个重要的课题，已经有了丰富的研究成果。不同于以往的图像修复和填充工作，本课题要解决的问题是基于给定的一个局部图像块来合成一幅完整的图像，我们称之为图像扩展。在图像修复和填充问题中，通常需要填充的部分占图像比例很小，有着丰富的上下文信息；而图像扩展中给定的图像块占原图比例很小，没有如此丰富的全局信息。因此我们首先通过神经网络对图像的结构特征作预测，随后基于预测的结构信息和给定的图像块来合成出完整的图像。我们的工作解决了由全局结构严重缺失而导致的合成效果瑕疵明显的问题，实验结果表明，在结构具有一致性的人脸数据集以及结构更复杂的风景图像的扩展中，都能取得较好的效果。 我们的目标是仅基于一小块原始图像来重建一幅结构合理的完整图像。由于大多数像素的缺失，视觉注意机制无法直接在扩展任务上实现。为了解决这个问题，我们首先预测每个图像块所在原图的原始结构，然后引入视觉注意模块来提高输出质量。我们采用神经网络在给定数据集上进行了二阶段的训练。第一阶段采用的是编解码结构的深度卷积网络，用随机截取的图像块作为输入，原图作为优化参考，进行强监督训练。第二阶段中，我们重新设计了“注意力”机制，构建了空间距离较远但相关性高的像素之间的依赖关系，从而在图像合成过程中更好地考虑全局信息。第二阶段也是对第一阶段的初始结果进行细节层次上的优化。
▲ 采用基于学习的方法对人脸图像进行扩展的结果。红色框内为输入图像块，从该图像块进行扩展可以合成整幅图像。
▲ 对风景图像进行扩展的结果，可以保持与输入图像一致的细节特征。
相关论文：
| ||||||||||
|
地址：北京市海淀区中关村北大街128号 |
||||||||||
研究领域
