时间：2024-06-12 23:11:38
1、AI“滚”进实时交互2021年，元界概念席卷全球，国内各大厂商纷纷加速布局，通过元界增强各类应用场景相关的内容生态。考虑到Metaverse的四大核心基础：“身份”、“沉浸感”、“低延迟”和“随时随地”，ZEGO科技基于交互智能与AI视觉融合的业务逻辑，提出并实现了ZegoAvatar解决方案。技术应用虚拟图像完成业务与技术之间的无缝连接。
图1：Avatar产品AI特征矩阵ZegoAvatar的基础功能包括表情跟随、语音表情、AI面部特征识别（AI捏脸）、拍照捏脸等。相关的AI技术点包括人脸检测、面部识别等。跟踪、面部关键点检测、头部姿势检测、3D人脸重建、AI特征识别等。上次我们讲了ZegoAvatar的面部表情追踪技术的分析，今天我们来讲解一下ZegoAvatar的AI捏脸部分！
2. 脸部裁剪技术的发展历史首先，我们解释一下“脸部裁剪”的概念，“脸部裁剪”是将系统设置的元素组合到虚拟角色中以创建定制图像的过程。通过结合脸部、眉毛、眼睛和发型等元素来创建您的头像。
1、关于刷脸的发展历程2005年，国内第一款支持刷脸的游戏《完美世界》发布。该游戏允许您自定义角色的形象以创建您想要的外观。当然，当时它还被称为“形象定制系统”，只能实现比较初级和简单的五官替换功能，但当时大多数玩家首先选择的是系统库中的脸型，这种新颖的模式不仅给玩家带来了全新的游戏体验，同时也改善了后来游戏中的“五官”，这为“妻见”系统的蓬勃发展奠定了基础。捏脸方法在2013年以《剑灵》 BS开始普及，捏脸导入功能也非常好，可以让你直接将别人的捏脸数据导入到自己创建的角色中。成本非常低。 2018年在中国新推出的热门游戏《逆水寒》提供了捏脸系统，可以招募数十个面部肌肉群，通过放置和组合创造无限可能。
2、为什么要“捏脸”？ 为什么要“捏脸”这个问题可以从审美标准、另类感觉、个性化三个方面来考虑。通过比较不同世代的审美标准，你可以发现这样的规律。随着时代的变迁，人们的审美意识和对美的要求也在不断变化。对服装、配色的追求也是如此，对玩法的追求也是如此。无论是游戏还是虚拟SNS，最重要的肯定是“位移感”，而最直观的感受方式就是玩家自身的形象，所以一款强大的洗脸游戏会给玩家带来无与伦比的“位移感”。的位移”。给人一种替换的感觉。替代品。捏脸是表达个性的另一种方式。如果你想展现自己酷炫耀眼的一面，打造一张高傲的面孔是个好主意，如果你想向外界展示自己温柔可人的一面，打造一个柔和端庄的头像是个好主意。目前，不少玩家的关注点已经从游戏中的“炫丽实力”转向“炫酷炫酷”、“炫丽五官”。无论开什么热门网游，玩家们花在装扮美化上的钱，都不亚于提升自己的能力。独特的虚拟角色面孔成为了虚拟世界中互动的第二张名片，也成为了连接虚拟世界的桥梁。
3. 显示ZegoAvatar 脸部的捏合效果拍照时显示ZegoAvatar 脸部的捏合效果。
图2：捏脸效果说明： 1、所有实验数据来源均为内部付费采集，不涉及用户隐私； 2、使用我们产品的头像SDK功能时，需要对人脸特征进行处理。信息和声音功能信息，实现人脸捏合、表情追踪、声音驱动的功能场景。您必须允许使用您的摄像头和麦克风。关闭后仅影响相应功能，不影响应用程序的其他功能。我们仅在您的本地设备上离线处理相关的面部特征信息和音频信息，不会上传、存储或与第三方共享这些信息。
4、捏脸全过程分析ZegoAvatar 的技术方案了解到，通过摄影捏脸是根据照片中人的性别、年龄、发型、脸型、眼睛大小、眉毛位置、眉毛等信息来进行捏脸的。获取长度等当您发送脸部照片时，我们会考虑您的眉毛类型以及是否戴眼镜等因素来创建与您匹配的头像。与传统的捏脸方式不同，ZegoAvatar利用AI技术自动生成自己的虚拟形象，因此每个人的虚拟形象不再相同。下面，我们详细介绍ZegoAvatar人脸捏脸算法的大致流程和整体架构。
1、AI技术在人脸捏脸中的具体应用AI人脸捏脸涵盖的主要技术包括人脸检测、人脸对齐、性别分类、发型分类以及眉毛、眼睛、五官等属性分类在内。
2、人脸捏合的大致过程是对输入图像进行分析，得到对齐的人脸图像。人脸对齐后，照片分为两种：仅包含人脸的照片（人脸占照片的100%）和包含完整头发信息的照片（人脸约占25%），分为两种。将对齐后的人脸照片发送至性别分类模型进行性别判断，性别判断后选择对应的捏脸推理模块，得到头像图像代码（有无胡须、脸型、发型、有无头发） ）将被检索。 ); 最后通过虚拟图像编码生成定制的虚拟图像。图3：虚拟镜像创建流程图
5、克服捏脸效果的难点为了获得最佳的捏脸效果，在实际研发过程中应成功解决以下问题。
如何采集数据，如何保证结果准确，如何保证不同用户在不同使用场景下的鲁棒性效果1、科学的数据采集根据数据采集模块获取人脸属性数据，创建AI表示得到模型。数据修正和浓缩训练，具体分为以下几个部分： a. 数据采集：因应业务需求，购买并采集了约102万张人脸数据，经过严格标注，并Accepted。面部属性可用的数据集使用标注软件获取面部性别、头发、胡须、是否戴眼镜、皮肤等级等数据； b. 数据管理：数据的一些困难对极端情况下的数据进行分类和管理，特别是那些太暗、图像质量低、人脸角度过大等。训练时添加样本均衡、超参数均衡损失计算等，可以进行各种数据处理。例如，针对数据上的困难样本类型，进行训练优化c. 数据丰富：在实施场景中，设计定制的数据丰富流程来丰富训练数据模型。
2.模型设计的主要思想是建立一个带有捏脸推理模块的网络模型，并且通过实验结果的对比和验证，我们建立了一个性能和精度都非常好的网络，主要包括backbone网络.设计结构。输出用于提取图像特征，输出头用于对应的头像编码。结构图如下。
图4：网络结构示意图基于Ghostmodel、Mobilenet、Bottleneck、MicroNet等思想对网络结构和训练策略进行反复测试和验证，最终骨干网络基于CBA、Ghost Bottleneck、MobileVit的结构构建的块如下：
图5：网络主干示意图主干网络和输出头模块的具体结构如下：
图6：主干网络和输出头模块的结构图幽灵瓶颈通过“廉价”操作（DepthwiseConv）获得“冗余”特征图以加速模型推理，并且通过瓶颈的特征图增加通道。减少进一步减少了参数数量，包括：
图7：Ghost BottleneckTransformer，MobileVit 块可以使用较少的参数捕获每个特征图内的局部表示信息以及特征图到其他特征图的全局表示信息。通过特征之间的相互“引用”，特征的表示变得更加准确。的结构如下：
图8：MobileVit Block 输出头采用的功能共享结构允许相关子任务相互促进。其结构为：
图9：这样，输出头就构建了一个完整的网络结构。
图10：完整的网络结构图
3. 仔细设计你的优化技术，设计不同的任务分支并将其细分为类别。我们还采用了共享特征机制，利用任务之间的相关性来帮助学习目标任务。损失函数为：
在实际学习中，我们不知道每个子任务之间的影响是否有效，但是为了消除多个任务之间的冲突，我们调整梯度，使得每个任务的学习率相同，任务就可以学习到。损失函数的权重可以自动平衡。例如，如果任务i 快速收敛，则该任务的性能为
应减少任务，以便其他任务对当前网络产生更大的影响。一般来说，从以下几个方面进行优化： a.从网络设计上：
人脸捏脸算法不是通用的端到端算法，需要从多个维度提取特征进行详细分析。为了减少模型消耗，我们的许多模型采用多任务辅助监督训练。中间辅助监控的思想最早出现在2014年ILSVRC冠军模型Googlenet中，后来被分割网络PSPNet作为参考。最近在ECCV 2020 上提出的LableEnc 还演示了真实标签到潜在嵌入的映射。作为航天、探测领域中级监督信息辅助骨干培训的实效。当与现实生活任务结合时，我们的多任务助理主管培训与上面提到的中级助理主管不同。我们的中级主管不仅仅使用地面事实。在大多数情况下，我们设计的网络使用多个任务来共同指挥。主要任务之一。 b. 从数据处理来看：
数据处理根据实际需要使用各种数据扩展。为了减少计算量，一些任务还使用重建图像的策略（X=AS，其中X代表原始图像）。图像，S表示重建图像，A表示基函数组成的矩阵。我们的优化指南是：
其中，I(x,y)表示原始图像X上的一个像素，表示基函数矩阵A的第i个向量，表示S的第i个响应值。通过优化标准，可以用具有相对较强的感受野响应的信息来表示整个图像中的所有信息。 c. 从损失函数来看
损失函数的设计直接影响网络收敛的质量。每个任务的损失函数都不同，但本质都是通过最小化损失函数来获得全局最优。为特定任务定义不同的损失函数，或者根据您的需要对公共损失函数添加惩罚或约束。 4. 完美脸部捏合效果由于虚拟图像是直接根据编码结果生成的，因此脸部形状和五官或发型可能不“匹配”。整个团队还需要合作研究如何使定制化身看起来很棒。一方面，开发同学一直在调试和优化头像的渲染效果，在肤色调整、阴影渲染、头发渲染、高光效果等方面做了很多尝试，但另一方面，设计同学也搭建了各种效果、纹理材质以及完整的头像材质库。例如：眉型、眼睛形状、睫毛样式、脸型、肤色等。通过不断的技术研究和美学考量，ZegoAvatar虚拟形象的最终产品不仅高度精确，而且在捏脸方面也提供了极大的灵活性。捏脸的效果可以简单地从以下三个方面来表达。
性别识别是捏脸中最基本、最重要的环节。由于角度、光线等外界因素，很可能会出现识别错误，一旦性别识别错误，后续的人脸选择处理就会变得越来越错误。为了兼顾移动设备上的准确率和实时性，在训练过程中做了多方面的努力，在5万人不同国籍、年龄、场景、场景的测试集上，性别识别准确率达到了96.7%。面部表情。 b. 人脸外观特征分析
性别识别结果出来后，识别一个人面部的身体特征尤其重要，比如是否戴眼镜、是否有胡须、胡须分布在哪里等。如果对这些人脸的明显外部特征识别不准确，捏出来的效果就会很假。人脸外观特征模型包括眼睛、胡须、胡须分布的识别，各维度准确率眼镜为99.5%，胡须为96.2%，胡须纵横向分布为95.0%。 c.从头发维度分析头发分析也是剪脸过程中非常重要的一环，头发具有多维度的多样性，头发分析可能会错误地计算出某一维度，一旦确定，整体效果就大打折扣。头发分析模型包括5种长度、9种刘海、2种束型以及4维头发区域信息，可以为渲染模块提供高度详细的头发特征，可以渲染出非常逼真的头部形状。
ZEGOZEGO科技基于AI行业的发展变化，捕捉适合其技术能力的垂直应用场景，研究虚拟社交和在线KTV场景的核心问题，为用户打造个性化的虚拟形象。我们在做AI刷脸的时候走了一小段弯路，但从那时起我们开始关注市场参与者身边的热点，整个团队不断探索和测试，积极寻求突破。已经改善了。高又高。莎士比亚通过《仲夏夜之梦》个字符的口说：“虽然想象的事物往往是空灵的，但在诗人的笔下它们是具体的，有自己的实质，可以有一个名字。”“我会的。” ZEGO化身就像莎士比亚笔下的诗人一样，为每个人定制个性化的虚拟形象，成功打开元宇宙时代的大门。随着相关领域技术的成熟，ZEGO科技也将创造出具有新含义和意义的数字人类。从技术核心赋能内容开发者，将虚拟技术更直接、便捷、高效地交付给最终用户。未来我们将可以通过AI模型直接获取面部整形系数，实现千人千面。