近日,国际计算机视觉顶会CVPR 2024在西雅图召开,阿里共34篇论文被收录,其中有6篇入选Highlight和Oral Paper,被收录论文研究方向涵盖多模态模型、图像编辑及可控视频生成等前沿领域。早些时候火遍国内外的Animate Anyone、EMO、Facechain等模型也在会议现场亮相,并吸引了大量参会人员的关注与体验。
CVPR是计算机视觉领域最顶级的学术会议,每年都有大量企业、研究机构和高校参会,过去十几年曾诞生了ResNet、ImageNet等极具影响力的研究成果。据统计,今年CVPR共提交了 11532 份论文,最终2719 篇被接收,接受率只有23.6%,为近4年最低,而Highlight和Oral的占比仅为11.9%和3.3%。
在阿里通义实验室的Highlight论文《SCEdit: Efficient and Controllable Image Diffusion Generation via Skip Connection Editing 》中,研究团队提出了一种全新的图像扩散生成框架 SCEdit,它引入了全新的SC-Tuner的轻量级微调模块,通过对原始模型进行细微的调整,大幅度降低了训练参数量、内存消耗和计算开销。实验结果显示,SCEdit可快速迁移到特定的生成场景中,相比LoRA节省30%-50%的训练显存开销,可应用于边缘图、深度图、分割图、姿态、颜色图、图像补全等条件生成任务。目前相关代码及微调模型均已开源。
会议现场,阿里首次在海外展示了基于Animate Anyone和EMO打造的大模型应用,吸引了来自全球各地参会者体验。过去半年,这两个项目在Github上累计获得超20k的Star,是视频生成领域的标杆项目。
据介绍,目前通义大模型家族已拥有文本生成、图像生成、视频生成、图像理解等全模态能力。不久前开源的Qwen2-72B是全球性能最强的开源模型,性能超过美国最强的开源模型Llama3-70B,也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。
雷峰网(公众号:雷峰网)