在上篇文章中,小编介绍了素描肖像风格和油画风格在美颜sdk中是如何实现的,接下来,小编将继续介绍人脸风格化中,动画风格和人脸风格化数据集的相关知识。
1、动画风格
动画风格,这里特指的就是有某种动画作品风格的效果了,以日本的二维动画为代表,类似于抖音中的一些效果。其本质是对图像的颜色和纹理的迁移,本质是从输入到特定风格的映射,哪怕输入图本身不是现实中的人脸,而是动画,也会被映射到特定的风格。

要实现这一类风格的生成,需要对输入图进行风格编码,最适合的就是便是GAN,其中人脸编码方法中StyleGAN是最成功的方法,不过对于人脸动画风格来说,改变的是整体风格,而不是局部细节,所以原理上更为简单一些。
使用GAN进行风格迁移是一个非常大的研究领域,方法很多,我们这里只对其中最核心的技术进行介绍,以Pix2Pix和CycleGAN为代表,前者需要成对数据进行训练,而后者则不需要,所以CycleGAN才是更加现实的选择。
CycleGAN通过对源域图像进行两步变换:首先尝试将其映射到目标域,然后返回源域得到二次生成图像,从而消除了在目标域中图像配对的要求,这是一个循环的结构,因此称之为CycleGAN。
不过在美颜sdk中直接使用CycleGAN算法不能立刻获得成品,因为CycleGAN缺少对人脸语义信息的理解,在对人脸进行处理时,可能会出现五官错位的情况,一般通过两种方法修正:通过增加关键点预测任务,来约束输出图像的五官分布。
另一个是基于注意力机制的方法,使用注意力机制对人脸的有效区域进行学习。

2、人脸风格化数据集
如果在美颜sdk中,提前植入一些预设的人脸风格化数据集,可以在调用人脸风格化数据集的时候,提高效率。其中,比较常用到的有以下几个:
1、CUFSF
发布于2009年,这是一个人像素描数据集,原图来自于FERET,有1195张成对的灰色正面肖像图和对应的素描图。
2、 IIIT-CFW
发布于2016年,包含100个名人的8928张卡通图片,同时也附带了1000张真实图。
3、CartoonSet10/100k
发布于2017年,有两个子集,CartoonSet10k和CartoonSet100k,分别包含10000和100000张卡通人脸图。每一张卡通人脸图都有16个组件,其中12个面部属性和4个颜色属性。
4、self2anime
发布于2019年,这是一个漫画人脸数据集,首先使用漫画人脸检测算法对Anime-Planet1上的图片进行了检测,最后留下了女性的人脸图共3500张,其中3400张作为训练,100张作为测试。
5、Danbooru2019
Danbooru2019是一个动漫人物数据集,拥有超过300百万的图片。有研究者从中选择了一些图片组建了动漫头像数据集,共140000张,图像大小为512*512。
以上就是美颜sdk中,对于人脸风格化的所有介绍。如果你对美颜sdk接入有需求,欢迎咨询官方客服。
声明:本文由美狐原创,未经允许禁止转载,谢谢合作。
- 美颜SDK全场景应用解析:从短视频拍摄到直播连麦的自然美颜解决方案
- 美颜SDK选型指南:算法、性能、价格、服务与多端适配全维度分析
- OpenGL美颜技术入门:美颜SDK实时滤镜与自然磨皮实现原理
- 社交APP美颜SDK升级指南:从聊天到视频互动的自然美颜与低延迟方案
- 短视频APP美颜SDK方案:通过自然美颜、实时渲染提升内容质感
- 美颜SDK收费模式对比:自然美颜、实时渲染与多端适配
- 短视频APP如何借助美颜SDK提升内容质感与发布体验
- 直播平台美颜SDK解决方案:提升观看体验、互动氛围与打赏转化
- 音视频SDK如何接入美颜SDK?自然美颜与低延迟体验优化方案
- AI滤镜与美颜SDK技术解析:风格迁移、自然美颜和智能人像增强
