近日，上海交通大学的研究团队推出了一个名为 Gen3DHF 的新数据集，专注于评估 AI 生成的3D 人脸质量。随着生成式人工智能的快速发展，3D 人脸的生成成为可能，尤其在虚拟现实等领域具有广泛应用。然而，评估这些生成3D 人脸的质量和真实感依然是一个巨大的挑战，因为人类对面部特征的感知往往具有主观性和敏感性。

Gen3DHF 数据集是一个大规模的基准数据集，包含2000个 AI 生成的3D 人脸视频，以及从质量和真实感两个维度收集的4000个平均意见得分（MOS）、2000个失真感知显著图和失真描述。这一数据集为研究人员提供了一个宝贵的工具，以客观评估 AI 生成内容的质量。

在此基础上，研究团队还提出了 LMME3DHF，这是一个基于大型多模态模型的3D 人脸评估指标，能够有效预测质量和真实感得分，并进行失真感知视觉问答（VQA）和显著性预测。实验结果表明，LMME3DHF 在准确性方面达到了最先进的性能，不仅超越了现有方法，还与人类感知判断高度一致。

团队指出，尽管 AI 生成的3D 人脸在生成能力上取得了显著提升，但仍然存在感知失真和非真实感伪影等问题，未能满足人类的质量期望。人类评估虽然提供了重要见解，但其成本高且效率低，因此开发一种客观的质量度量标准变得至关重要。

Gen3DHF 数据集的推出，弥补了现有方法在评估 AI 生成3D 人脸方面的不足，特别是针对面部失真的独特性。通过对多样化3D 人脸视频样本的评估，研究团队在质量和真实感两个方面取得了显著进展。这不仅有助于提升生成技术的可信度，还将推动虚拟现实和相关领域的发展。

论文:https://arxiv.org/pdf/2504.20466

划重点:

🌟 Gen3DHF 数据集包含2000个 AI 生成的3D 人脸视频，为质量评估提供了基础。

🤖 LMME3DHF 评估指标在失真感知和真实感预测方面表现优异，超越现有方法。

🔍 研究旨在填补现有 AI 生成3D 人脸评估中的空白，提升技术的可靠性。