CVPR 2025 NTIRE赛事 | XGC质量评价挑战赛AI Generated Video赛道，等你来战！

2025-04-12 02:05:28 围观 : 152 次 0 评论

CVPR NTIRE（New Trends in Image Restoration and Enhancement）Workshop 是计算机视觉顶会CVPR下极具影响力的国际学术研讨会，聚焦图像复原、图像增强、生成技术、质量评估的突破性进展。为了促进视频生成技术的持续发展，美团联合上海交通大学在CVPR 2025 NTIRE Workshop上举办XGC质量评价挑战赛（AI Generated Video赛道），期望能够提供一种新的视频质量评价（VQA）方法，以准确预测生成视频的质量。

随着AIGC的蓬勃发展，以Sora、可灵AI为代表的模型引领了视频生成领域的一波热潮，为了推进视频生成这一领域的发展，置信准确的自动化评估生成算法性能成为一个重要任务。而对于AI生成的视频进行质量评价又和传统UGC视频有很大的区别，在对UGC视频进行质量评价时，我们更多关注视频的清晰度、色彩和光照；对于AI生成的视频，我们在进行质量评价时主要关注视频中物体运动的流畅性和内容的真实性，这就需要提出新的视频质量评价（VQA）方法，以准确预测生成视频的质量。

为此，我们与 NTIRE 研讨会联合举办了一项关于生成视频质量评价的挑战赛，任务是基于视频-prompt及其感知质量标签的先验示例，预测生成视频的感知质量分数。目标是设计一种网络，期望能获得一个与我们标注的真实值（MOS分数）尽可能高的相关性指标。

我们的数据集具有很好的多样性和全面性，涵盖多种场景和内容。具体来说，其包含34,029个不同视频，这些视频由14个不同的视频生成模型（包括cogvideo、SVD等主流模型）使用4,689条prompt生成。我们按照7:1:2的比例将整个数据集划分为训练集、验证集和测试集。其中训练集包含23,820条生成视频、各自对应的prompt和质量分数；验证集包含3,402条生成视频以及各自对应的prompt；测试集包含6,807条生成视频以及各自对应的prompt。

我们给出的具体数据集格式如下：

这里以训练集为例，以JSON形式保存，每个字典元素包含两个属性，video存储视频名称，prompt为生成该视频使用的prompt，gt_score为该视频的人工标注质量分数。

验证集、测试集无质量分数，仅包含video和prompt两个属性。

提交结果格式如下

结果同样要求保存为JSON文件，每个元素包含两个属性，video为视频名称，predict_score为模型预测质量分数；同时我们要求额外提交readme.txt，记录模型其他信息，具体提交要求见比赛主页evaluation页面。

评估指标

Score = (PLCC + SROCC) / 2

本次挑战赛面向全社会开放，个人、高等院校、科研单位、企业等人员均可报名参赛。每支队伍只能提交一种针对AI Generated Video质量评价算法进行最终排名。参赛队伍可自由选择是否发表竞赛相关论文，且该选择不会成为参加挑战赛或获奖的必要条件。

本次挑战赛将邀请排名靠前的参赛者向NTIRE研讨会提交论文，以供同行评审。论文录用后将发表在2025年CVPR研讨会论文集中。

赛程安排

2025.02.05 | 发布训练集和验证集

2025.02.05 | 发布在线验证平台

2025.03.14 | 发布测试集，关闭验证平台

2025.03.21 | 测试结果提交截止日期

2025.03.22 | 概况介绍和代码/可执行文件提交截止日期

2025.03.24 | 向参与者发布初步测试结果

2025.04.01 | 挑战参赛作品的论文提交截止日期

2025.06.15 | NTIRE研讨会和挑战、成果和颁奖典礼（暂定）

CVPR NTIRE 2025官网：https://cvlai.net/ntire/2025/

CodaLab比赛网址：https://codalab.lisn.upsaclay.fr/competitions/21485

比赛奖金

一等奖：1200美元

二等奖：1000美元

三等奖：800美元

*三个奖项各评选出一支获胜队伍。

NTIRE2025 XGC质量评价挑战赛- AI Generated Video赛道由上海交通大学与美团共同举办。其中交大团队成员包括刘笑宏、闵雄阔、翟广涛教授及其带领的博士后孙伟，博士研究生张子澄、李春一，硕士研究生寇腾川、王书石。美团成员来自计算和智能平台部。

特别感谢AGI-Eval大模型评测社区为本次赛事提供人工标注结果。AGI-Eval是由上海交通大学、同济大学、华东师范大学、Datawhale等高校和机构合作发布的大模型评测社区，以“评测助力，让AI成为人类更好的伙伴”为使命，旨在打造公正、可信、科学、全面的评测生态，牵引模型实现通用人工智能。

在比赛中遇到的任何问题可以联系组织者：

王书石 <wss2002@sjtu.edu.cn>

补充信息

下面是我们CVPR论文中对于该数据集的一些实验：

1. 不同生成模型得到的视频质量分数分布图

2.目前业界并无成熟的用于AI生成视频质量评价的算法，下面是我们使用现有图像质量评价模型和多模态大模型在我们的数据集上进行的实验结果：

可以看到，直接将现有的图像质量评价模型或多模态大模型应用到该任务上很难取得一个好的效果。因此，我们诚挚地邀请参赛者积极参与此次挑战，提交高质量的算法方案。您的创新和努力将对推动这一领域的发展起到至关重要的作用。我们期待大家的参与和贡献，以共同促进AI 生成视频质量评价技术的发展。

NTIRE 2025 XGC 比赛交流群

如果链接过期，请联系

王书石<wss2002@sjtu.edu.cn>

点击文末阅读原文，直达比赛网址

欢迎大家报名参赛！

标签美团招聘

上一篇：社招 | 美团Keeta 100+岗位热招中，国际舞台等你来挑战！下一篇：《中国注册会计师》杂志刊发德勤华永实践经验（六）：利用链接德勤全球网络优势，助力高水平对外开放

@残疾毕业生，人力资源社会保障部启动2024年高校毕业生等青年就业服务攻坚行动

近日，人力资源社会保障部印发通知，部署启动2024年高校毕业生等青年就业服务攻坚行动，于7月至12月，以“助力攻坚就创青春”为主题，对2024届离校未就业高校毕业生和登记失业青年集中提供政策落实、招聘对接、困难帮扶、能力提升、权益维护等不...
2025-07-28 19:46:26 求职
最新UCAS 25Fall英本数据解读，高考后还能补录上岸！

高考落幕，分数尘埃落定，有人选择国内升学，也有人放弃国内院校转向留学赛道。其实，中国高考成绩的国际认可度正飞速攀升，逐渐成为迈向海外名校的“敲门砖”！英国伦敦大学金史密斯学院于7月18日开启补录通道，明确表示接受中国高考成绩申请大一课程。高...
2025-07-27 16:01:50 高考 RoSSo艺术留学
一建报名！又有6地开启报名系统，速度报名！

大家好，我是嗨学君。近期25年一建报考入口已经开通，今天又有6个地区报名入口开启，咱们的考生可以抓紧时间报名了。（点击图片可放大观看△）新考生必看！请点击→2025年最新一建报考（详细版）↓↓新增两地报考公告如下↓↓北京通知重...
2025-07-23 12:02:27 嗨学
中级注册安全工程师证书难考吗？

近年来，中级注册安全师考试的热度如同夏日的温度持续攀升，成为了众多追求职业发展与安全领域深耕的考生们关注的焦点。不少粉丝纷纷向嗨学君发来“灵魂拷问”：这证难啃吗？和一建相比如何？若决心今年应战，此刻学习是否还来得及？今天，就让我们一起聊聊这...
2025-07-21 11:05:19 嗨学
一建报名“属地化”改革 | 跨省报考，证书将作废！

大家好，我是嗨学君这几天，一级建造师考试报名已经如火如荼地开展啦，就在你正激动地准备报名的同时，有一个重要的信息你绝对不能忽视——那就是越来越多的省份开始实行严格的属地化管理措施啦！属地化管理，你了解多少？属地化管理，简而言之，就是要求考生...
2025-07-21 11:04:19 嗨学
B证是啥？二建带B和不带B的区别~~

大家好，我是嗨学君最近，许多考生向我咨询了关于建造师的一系列问题。为了让大家更加清晰地了解这些盲区，今天我们就来统一回答一下吧！二建B证和二建证书有什么区别？二建B证指的是同时持有二级建造师证书和安全员B证。根据相关法规，二级建造师担任项目...
2025-07-21 11:01:30 嗨学
必看！一建学霸冲刺秘籍！学会真的会涨分~

距离一建考试还有一周的时间，很多考生都会感到不同程度的焦虑情绪，这是非常正常的心理反应。了解焦虑原因，快速调整，保持好的心态，对于考试提分很有帮助。Q：考前为什么会焦虑？1、总感觉以前学的知识突然忘记了。有很多考生在考前刷题时，发现自己做题...
2025-07-21 10:55:26 嗨学
关注！这些地区一建补考通知正式发布！

大家好，我是嗨学君上周，受台风影响，广东湛江、茂名、阳江及海南、广西钦州地区暂停了一级建造师考试。近日，这几个地区已陆续正式发布补考通知！定于9月21日、22日统一考试。补考时间9月21日上午 09:00－11:00 ...
2025-07-21 10:53:50 嗨学
一建考生们，查分前，这个消息先看看吧……

大家好，我是嗨学君！现在11月已经过半，距离一建考试出分越来越近。根据广东人事考试网发布的《2024年度一级建造师职业资格考试报考须知》：五、考试成绩和合格标准（一）考试成绩查询及管理1.考试成绩计划在2024年12月上旬发布，考生可登录中...
2025-07-21 10:48:43 嗨学
23地一建合格数超11万人，通过率却有所下降？

大家好，我是嗨学君！随着2024年一建成绩公布，截至目前，已有新疆、福建、云南、四川等23地公布了2024年一建考试合格人数，共有110117人合格。△数据来源各地人事考试中心。其他地区公布后，本表格将同步更新。数据中有部分地区还未完成考后...
2025-07-21 10:46:46 嗨学