(通讯员:刘丹华)2021中国华录杯·数据湖算法大赛于5月21日在第五届世界智能大会宣布启动,经过4个月的激烈角逐,于10月9日完成五个赛道作品评审,共决出29只决赛队伍,10月17日决赛在线上正式开赛。西安电子科技大学人工智能学院智能工程系2021级博士生董宇波、硕士生樊丹丹、刘航组成的战队,在石光明教授和高大化教授的共同指导下,最终夺得2021华录杯·数据湖算法大赛图像摘要生成赛道一等奖。
图像摘要生成赛道的任务是给图像提供除了标签之外更加丰富的描述,分析其视觉内容,构建模型,并使用模型生成图片对应的文字描述,不仅要检测出图像中的物体,而且要理解物体之间的相互关系并以合理、自然的语言描述出来。冠军队伍提出了一种多模态对比学习预训练加图像描述生成任务微调的训练方法。首先使图像编码器和文本编码器在大规模图文数据集上进行多模态对比学习预训练,图像描述生成任务中的图像编码器和文本生成器与预训练阶段的图像编码器和文本编码器具有完全相同的结构,因此加载预训练阶段的权重,然后在图像描述生成任务上微调。此外,针对图像中的小目标,使用Res2NeXt网络作为视觉模型的主干,利用其多尺度特性检测图像中的小目标。最终,将三个模型进行加权融合的结果取得了第一名的成绩。
赛事简介:
中国华录杯·数据湖算法大赛由天津市工业和信息化局、市委网信办、津南区和中国华录集团主办,已成功举办4届,致力于智慧城市业务中的真实应用场景,打造以数据为基础、以智能为基调、以应用为导向的大数据算法赛事,赛题涉及机器学习、模式识别、自然语言处理等各类主流数据科学技术,产出众多成果,助力政府科学决策与社会精准治理。
2021华录杯大赛以“数据湖+AI”为理念,旨在汇集大数据、人工智能行业领域精英,开放数据资源,营造数据创新环境,孵化数字产业创业团队,激活数据湖生态,促进数字产业项目落地与推广。大赛着力于人工智能通用技术,结合运用数据湖内行业领域真实数据,设置定向算法赛,包含图像摘要生成赛道、语言识别赛道、特殊车辆识别赛道、自然语言处理赛道及应急赛道五大赛道,共吸引选手近3000人,参赛队伍2000余支,涵盖清华大学、北京大学、香港中文大学、南开大学、伦敦大学等200余所高校学生开发者及多家企业在职开发者。