图像也能做情绪迁徙？罗切斯特大学团队提出盘算机视觉新使命

貓小九

提示您：未得到智伍应用正式版的授权，部门功能受到影响！



尊重的用户，您好！！


非常感谢您能安装智伍应用旗下的产物，为了产物的可连续发展和升级，云收罗已经开始按天收费，发起购买200天，免费赠予400天，一共600天，均匀天天仅需1.67元。


向用户收费是为了给用户更可靠的保障和服务，所收取的费用重要用于产物的正常运作、不停研发和改进，盼望各位用户可以或许明白和支持。



购买正式版授权请打开下面的网址自助购买：
www.zhiwu55.com/authorization/buy_end_time.php?hzw_appid=63D72A1D758AD438BCDB8D16F1664BCA



购买之后，主动开通正式版授权，新收罗的内容不会再出现未购买授权的提示信息，同时智伍应用旗下全部含云收罗功能的产物，都无需再次购买云收罗的正式版授权，即云收罗的授权可以在智伍应用的各个产物那边通用！


假如您已经购买了正式版，照旧会出现未购买授权的提示，大概有别的题目，请接洽智伍应用官方在线客服QQ/微信：2085244671




呆板之心报道

编辑：魔王

图像风格迁徙？语音情绪迁徙？不，是图像情绪迁徙。

盘算机视觉范畴中有许多使命，如目的检测、图像转换、风格迁徙等，但你听说过「图像情绪迁徙」吗？

罗切斯特大学罗杰波传授团队提出了这项研究使命 [1]。与其他盘算机视觉使命相比，图像情绪迁徙更有挑衅性，必要对图像中的每个物体举行差别的情绪迁徙。该研究提出一种机动有用的物体级图像情绪迁徙框架和新模子 SentiGAN，实行证实该框架可以有用实行物体级图像情绪迁徙。

什么是图像情绪迁徙？

图像情绪迁徙是一个待探索的新型研究使命。与图像转换、图像风格迁徙和面部心情迁徙使命相比，图像情绪迁徙关注更高级更抽象的对图像团体表面和感觉的修改，而不改变其场景内容。如图 1a 所示，将污浊的海水变得清亮并给海鸟着色后，本来通报中性或悲观情绪的图像变得积极暖和，而图像中的内容并未被更改。

与图像转换和图像风格迁徙相比，该研究以为图像情绪迁徙更具挑衅性。此中一个难点在于对差别种别的物体举行情绪迁徙时必要利用差别的规则。这有别于风格迁徙，后者可以将一种绘画风格同一添加给图像中的全部物体。如图 1 所示，要让输入图像具备积极情绪，应把海水迁徙成清亮的蓝色，海鸟迁徙成彩色的。这两种操纵不是基于同一张参考图像，否则就会像图 1b 和 1c 那样不真实。

办理方案

为了办理这一挑衅，该研究提出了一种有用框架，可以在物体级别实行图像情绪迁徙。整个过程可分为两步：

1. 给定一张输入图像，该框架使用图像形貌天生模子和语义分割模子检测全部物体，找出其像素级掩码。联合利用两个模子的目标是，维护高质量的物体掩码，同时大幅扩大物体集的范围。

2. 对于输入图像中每一个检测出的物体，利用包罗同样物体的参考图像举行情绪迁徙。该计划乐成地办理了前述题目，并使框架保持强盛的机动性，比方用户可以给输入图像中的每一个物体赋予差别的情绪。别的，它还可以利用户无需提供参考图像，直接输入想要赋予每一个检测出物体的情绪词汇即可实行情绪迁徙（如对鸟输入「colorful」、对天空输入「sunny」、对山输入「magnificent」）。有了物体和情绪词汇，体系就可以主动检索对应的参考图像，并实行情绪迁徙。

该框架的团体性能由第二步决定，即目的级情绪迁徙。这里可以直策应用风格迁徙模子，但是情绪迁徙使命必要迁徙后的图像看起来天然，不必要局部模式（如纹理）的显式迁徙，而这正是风格迁徙模子的固有元素。因此，研究职员转而使用多模态图像转换模子，如 MUNIT 和 DRIT。它们可以分离内容和风格信息，为输入图像生存更多基于内容的元素。只必要对这些双范畴映射模子做简朴的修改，就可以使其实用于情绪迁徙使命，而这并不会显着限定输入和迁徙图像的域。

但是，利用以上模子仍旧存在缺陷。起首，MUNIT 和 DRIT 最初是为图像级变更使命计划的，它们在细粒度物体级迁徙使命上体现欠好。第二个题目与情绪迁徙的本质有关。相比于表面、纹理和绘画风格，图像情绪更敏感，每每与基于颜色的元素有关，如对比度、饱和度、亮度和主色。

抱负环境下，我们盼望模子可以或许将输入图像的这些元素完全迁徙为参考图像。现有的多模态模子通常将视觉表现分解为内容码和风格码。迁徙即通过自顺应实例归一化 (AdaIN)，将参考图像 / 物体的风格码注入输入图像 / 物体的内容码。但是，如下图 2 所示，具备差别内容码的物体纵然利用雷同的风格码，得到的团体色彩分布仍旧大不雷同。这表明，现有模子无法充实将色彩信息和内容码分脱离，因而导致不完全的颜色迁徙。

为办理以上缺陷，该研究提出了一种新方法 Sentiment-aware GAN (SentiGAN)。对于第一种缺陷，该研究创建了对应的物体级丧失函数，与图像级丧失一起练习模子。对于第二种缺陷，其办理方案基于以下观察：额外迁徙内容码全局信息可以更好地迁徙输入物体的颜色信息。同时，研究职员还通过维护空间信息来制止其他内容信息（如纹理）的改变。为此，他们利用有用的束缚，使迁徙物体的内容码与参考物体的内容码全局靠近，但与输入物体的内容码局部靠近。这些束缚通过练习过程中的内容分离丧失和推断过程中的内容对齐步调来实现。该研究表明这两种方法具备互补性，可以或许明显进步情绪迁徙的性能。

该研究提出的图像风格迁徙框架如下图 3 所示：

框架原理如下：

给定输入图像，起首实行物体掩码提取来提取物体和对应的掩码；然后利用图像形貌天生和图像语义分割来获取全部物体和高质量掩码；末了，利用 SentiGAN 逐个物体地实行情绪迁徙。

焦点组件 SentiGAN 的架构如下图所示：

实行

研究职员创建了三个使命来评估图像情绪迁徙模子的性能。这三个使命均基于 50 张选自测试集的输入图像，这些图像具备准确的物体掩码和相对中性或含糊的情绪信息（方便向积极或悲观情绪方向迁徙）。

使命 1：粗粒度情绪迁徙

第一个使命旨在权衡模子在实行图像粗粒度情绪迁徙时的性能。研究职员练习一个图像情绪二分类模子来用于猜测提取测试会合的典范积极图像和典范悲观图像。对于每一张输入图像，差别的情绪迁徙模子可从十组采样的积极参考图像和十组采样的悲观参考图像中，对输入图像举行情绪迁徙。图像情绪分类模子对于各个情绪迁徙模子得到的迁徙图形评估效果拜见下表 1：

从表 1 中可以看出，SentiGAN 得到了最高的均匀真正率和真负率。这表明，SentiGAN 可以有用实行图像粗粒度情绪迁徙。

别的，研究职员还请五位志愿者从 SentiGAN 输出的 500 张迁徙图像对（积极图像和悲观图像）中选择积极图像。如表 2 所示，选择精确的概率为 72.4%，这表明情绪迁徙结果可以被用户观察到。图 5 展示了 SentiGAN 输出的情绪迁徙示例。

使命 2：验证物体级情绪迁徙的结果

第二个使命是验证物体级情绪迁徙的结果。

研究职员令 SentiGAN 实行三种迁徙计谋——物体 级迁徙、全局迁徙、非对应物体的物体级迁徙，并天生 50 组迁徙图像。令五位志愿者在每组中选择最真实的图像，每人负责 50 组。如表 3 所示，对于大多数组，志愿者以为目的级情绪迁徙天生的图像最真实，这与图 7 示例体现同等。

使命 3：迁徙图像与参考图像间的情绪同等性

第三个使命是评估迁徙图像和参考图像之间的情绪同等性（sentiment consistency）。研究者对每个输入图像网络了差别模子猜测的迁徙图像，并请五位志愿者从中选择出一或多个与参考图像最具情绪同等性的迁徙图像。

如下表 4 所示，SentiGAN 得到了最高的选中率，而且大幅领先，这表明它在迁徙参考图像的情绪中实现了最优性能。示例拜见图 6。

罗杰波传授团【*****智伍应用提示您：未购买正式版授权，功能受到影响！！请根据最上面的引导提示，自助购买正式版授权，主动开通！！在线客服微信：ccccyyyy4444，官方网站：zhiwu55.com*****】 [2]，感爱好的读者可检察原论文。

参考文献

[1] Image Sentiment Transfer

Authors: Tianlang Chen, Wei Xiong, Haitian Zheng, Jiebo Luo. 2020 ACM Multimedia Conference. arXiv: 2006.11337.

[2] Global Image Sentiment Transfer

Authors: Jie An, Tianlang Chen, Songyang Zhang, Jiebo Luo. 2020 International Conference on Pattern Recognition. arXiv:2006.11989.

11 月 14 日，DevRun 开辟者沙龙华为云即将登岸上海。华为云技能大咖将领导开辟者玩转 ModelArts，并解读华为云 IoT 服务与 AI 怎样实现互通；聚焦华为云 ModelArts 和 IoT 智能装备，为开辟者带来一场干货满满的技能盛宴。扫描二维码，到场报名。

THE END

转载请接洽本公众号得到授权

投稿或寻求报道：content@jiqizhixin.com喜好此内容的人还喜好

原标题：《图像也能做情绪迁徙？罗切斯特大学团队提出盘算机视觉新使命》

阅读原文