数据是大模型“智能涌现”不可或缺的原材料,它在今天展现出强大的能力,得益于背后的海量数据、蕴含了丰富的“人类”知识和智能,通过大模型技术将其提炼出来,用神经网络去表达复杂数据的背后规律。
当前,大模型正处在产业落地前期,高质量的数据,是大模型实现产业化的关键要素。多位业内人士都曾向雷峰网(公众号:雷峰网)表达了类似的观点,认为模型性能所取得的阶段性突破,最重要的离不开数据质量的提升,模型的训练语料在一定程度上会影响 AIGC 应用、微调后模型等内容生成的合规、安全以及价值观等问题。
对于以 ChatGPT、文心一言为代表的生成式 AI,海量的数据训练、人工标注、指令微调、基于人类反馈的强化学习(RLHF),可以让大模型与人类价值观、思维方式不断对齐,使大模型更加可用。
为此,百度智能云升级了大模型数据服务能力,与海口市政府合作共建的国内首个大模型数据标注中心,该基地已于近日正式启动运营,未来会为各行各业提供大模型数据服务。
这是百度智能云推动大模型产业落地的又一重要布局。
百度智能云方面表示,目前已经在全国与各地政府合作,共建了十多个数据标注基地,累计为当地提供超过 1.1 万个稳定就业岗位,间接带动 5 万人就业。
百度智能云海口人工智能基础数据产业基地
国内首个大模型数据标注基地
走进海口数据标注基地,数百名大模型标注师正全神贯注地盯着电脑屏幕,使用数据标注平台熟练地对大模型生成的内容数据进行打分、排序。
一个客观事实是,大模型当前在内容生成的稳定性方面还存在难点,例如尝试使用 AI 写稿的用户就遇到过类似的问题——如果 AI 在某些关键信息点“一本正经地胡说八道”,而自己没有发现,最后就会造成严重的事故。
数据标注正是为了解决这些问题。
通过对大模型生成的内容进行评价、反馈给到模型,这些人工标注的数据可以让更好地学习人类的思维方式,从而变得更加聪明。
百度智能云海口人工智能基础数据产业基地 作业区
百度智能云数据标注基地业务产品负责人胡驰表示,为提高数据标注的质量和效率,百度智能云自主研发了业内领先的大模型数据标注平台,支持从大模型微调、强化学习到模型评估的数据生产闭环。
在百度智能云数据标注平台上,经过前两至三轮的大模型生成内容筛选,得出 5 个更符合人类逻辑、贴近人类需求的答案,数据标注师会根据一套特定的评分规则,对这 5 个问题进行判断和评分,再返回给到模型对优质回答进行再次学习。
通过结合平台独有的人机协同标注、多轮智能审核等智能化工具,可大幅提升数据标注的产能和质量,同时帮助企业实现降本增效。
拍摄于百度智能云海口基地
随着 AI 商业化落地进程加快以及应用场景不断拓展,市场对海量、优质数据的需求持续增加。但在这些数据中,80% 都是以文件形式存在的非结构化或半结构化数据,必须经过清洗与标注处理才能被机器识别和学习,才能真正唤醒其价值。
数据标注服务是人工智能基础数据服务的核心环节,是机器感知现实世界的起点。
借助特定软件工具,数据标注师将未经处理的语音、图片、文本、视频等数据打上特征标签,转变成机器可识别的信息,使机器通过大量学习这些数据具备自主识别的能力,从而化“人工”为“智能”。数据标注服务是算法模型正常运行的重要保障,其精度更是决定人工智能产业发展速度的关键因素,对人工智能产业技术层和应用层起到了牢基固本的支撑作用。
数百名标注师、100%本科学历
为保障数据标注质量,百度智能云搭建了全流程数据服务人才梯队。海口数据标注基地现拥有数百名专职大模型数据标注师,标注师的本科率达到100%。
百度智能云大模型数据标注师王洁玉介绍,“和传统的数据标注师要求不同,大模型标注师都需要本科以上学历,我觉得主要是因为大模型数据涉及的知识面很广,评判标准复杂,非常考验标注师的语言理解能力和逻辑推理能力。在入职的前两个月,公司会对我们进行集体培训和考核,通过考核后才能正式上岗。”
据了解,百度智能云沉淀了多领域专家资源,针对来自不同行业的数据服务需求,百度智能云可快速搭建专家团队,对特定领域的任务提供监督微调和强化训练数据,保证数据交付质量,目前已覆盖计算机、法律、医疗等领域。
此外,百度智能云还组建了专业的数据咨询团队,从前期的数据收集、数据清洗,再到数据管理、数据回流,可为企业提供全流程的咨询服务,帮助企业在智能化转型过程中少走弯路。
数据安全始终是重中之重。胡驰表示,百度智能云不仅可提供高安全性的端到端数据服务,标注平台还支持私有部署,通过与基地资源联动,为客户提供多样化的数据安全方案。
“大模型标注基地重点要评估三大指标:高效标注工具、高端人才梯队、高级别数据安全,只有三管齐下,才能为大模型提供好的数据。”胡驰说。
值得一提的是,随着百度智能云海口数据标注基地在海口的正式落成,既为企业拥抱大模型提供领先的数据服务,同时也为区域带来社会效益、经济效益的双重助力。
胡驰表示,一方面,百度智能云通过完善的数据标注师培训体系,助力区域培育一批大模型领域人才,推动区域高质量人才留存的同时更保障高质量就业,激发区域人才活力;另一方面,基于百度智能云的技术和生态优势,基地为入驻企业提供一站式创业扶持,助力海口培育孵化本地专业数据标注企业,为当地的数字化转型和智能化升级持续造血。
海口市秀英区委常委、常务副区长石晟屹表示,稳就业是政府的重要工作方向,基地在未来三到五年,新增就业有望突破 5000 人规模,这是非常好的就业契机。不仅如此,建成海口数据标注基地,只是和百度合作的开端,后续还要共同打造数字经济产业集群,将海口市秀英区的数字经济规模、数字经济层级带来更高的提升。
目前,百度智能云在全国已与各地政府合作共建十余个数据标注基地,累计为各区域提供稳定就业岗位超过 11000 个,间接带动 5 万人就业,培育数万名 AI 数据人才,吸引孵化优质企业超 200 家,为推动人工智能产业发展和促进区域经济提升做出了积极贡献。
大模型时代的“智能新基建”
想要做出好的大模型并不容易,需要具备三大要素:大数据、大算力、好的学习机制。算力是大模型的动力来源,更大参数规模意味着更大的算力消耗;数据相当于大模型学习的知识,大模型想要有更好的性能,就需要大量高质量的标注数据;而好的训练方法就像是一位懂得因材施教的老师,让大模型的性能表现更上一层楼。
据了解,为了进一步推动大模型的产业化落地,百度智能云和各地政府已经建成了多个“智能新基建”项目。除了落地十余个数据标注基地,解决大数据问题之外,百度智能云在阳泉、福州、天津、济南、沈阳等地建设了多个智算中心,解决大算力问题。
百度阳泉智算中心
百度智能云方面表示,这些分布在全国各地的“智能新基建”,已经将强大的AI能力凝聚在“千帆大模型平台”上,目的就是帮助企业一站式的解决大模型开发和应用过程中面临的所有问题。
据悉,百度智能云将在9月全面升级大模型服务。8月,百度智能云宣布,千帆大模型平台升级,接入包括文心一言、Llama 2全系列、ChatGLM2-6B等在内的33个国内外最主流的大模型,成为国内拥有大模型最多的平台。
百度智能云千帆大模型平台功能全景图
(雷峰网雷峰网)