“lossless long context is everything”,杨植麟不止一次表达过这一观点,而月之暗面的最新动作也表明团队对这一观点的坚定信仰。
3月18日,AI大模型初创企业——月之暗面宣布在大模型长上下文窗口技术上取得新的突破,Kimi 智能助手已支持200万字超长无损上下文,并于即日起开启产品“内测”,用户可到 Kimi 智能助手网页版 kimi.ai 首页申请体验。
而这距离去年10月,Kimi 智能助手正式推出,最高可支持20万汉字无损上下文输入,才过去不到半年时间。
据介绍,Kimi 智能助手是月之暗面基于自研千亿参数大模型——Kimi大模型(原Moonshot大模型)打造的对话式 AI 助手产品,一经发布,最高可支持20万汉字无损上下文输入的能力创造了消费级AI产品所支持的上下文输入长度纪录。
面向全社会开放服务后,基于出色的长上下文处理能力,Kimi 智能助手帮助用户解锁了很多新的使用场景,比如专业学术论文的翻译和理解、辅助分析法律问题、一次性整理几十张发票、快速理解API开发文档……
用户在使用过后纷纷给予好评,认为其是当前最好用的智能助手之一。
而现在,月之暗面开始自己卷自己,不到半年时间,月之暗面就将 Kimi 智能助手的无损上下文长度提升了一个数量级, 从 20 万字到 200 万字,提高了10倍。
据月之暗面透露,为了达到更好的长窗口无损压缩性能,研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”“降采样”等技术捷径,攻克了很多底层技术难点,才取得了新的突破。
月之暗面工程副总裁许欣然告诉雷峰网(公众号:雷峰网),在过去的5个月里,基于相同成本、相同设备,Kimi大模型的响应速度提升了近3倍。
200万字汉字的上下文长度,能做什么
升级后的Kimi 智能助手到底能做哪些事情呢?
简单来说,200万字汉字的上下文长度,意味着它能够解锁海量的超长任务、复杂任务;快速学习一个新领域,kimi10分钟速成定律;快速学习大模型推理、挖掘长篇故事情节中的深层次信息。
在沟通会现场,月之暗面展示了一些超长无损上下文的使用场景示例。比如,用户上传几十万字的经典德州扑克长篇教程后,让 Kimi 扮演德扑专家为自己提供出牌策略的指导。
上传一份完整的近百万字中医诊疗手册,让 Kimi 针对的用户问题给出诊疗建议。
上传英伟达过去几年的完整财报,让 Kimi 成为英伟达财务研究专家,帮用户分析总结英伟达历史上的重要发展节点。
上传一个代码仓库里的源代码,可以询问 Kimi 关于代码库的所有细节,即便是毫无注释的陈年老代码也能帮助你快速梳理出代码的结构。
过去要 10000 小时才能成为专家的领域,现在只需要 10 分钟,Kimi 就能接近任何一个新领域的初级专家水平。用户可以跟 Kimi 探讨这个领域的问题,让 Kimi 帮助自己练习专业技能,或者启发新的想法。有了支持 200 万字无损上下文的Kimi,快速学习任何一个新领域都会变得更加轻松。
无损的长上下文,将是通往AGI的关键
如今,国内大模型在历经持续了一年多的百模大战后,市场竞争逐渐深化,切实提升模型能力,才是决定模型是否真正可用、好用的关键所在。而上下文长度也成为各大AI大模型公司比拼的一个焦点所在。
在许欣然看来,大模型无损上下文长度的数量级提升,将会进一步帮助大家打开对AI应用场景的想象力,包括完整代码库的分析理解、自主帮助大家完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理,以及真正统一架构的多模态模型,等等。
“无论是内存、算力还是网络带宽,历史上每一次基础技术的升级,都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。”
而杨植麟也不止一次公开表示,想要通往通用人工智能(AGI),无损的长上下文将会是一个很关键的基础技术。从 word2vec 到 RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。
“上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。”
之前,20 万字的无损长上下文帮已经帮助用户打开了新的AI应用世界。许欣然告诉雷峰网,用户使用Kimi 智能助手能做的事情远远超过他们的想象,有很多好玩的玩法也是在看了用户的使用评价之后才发现,“原来还可以这样玩。”
而这也是月之暗面一直坚持的观点——与用户共创。
如今,伴随模型能力的每日升级,iOS应用、Android应用、小程序、Web等多端平台的上线,Kimi 智能助手已成为越来越多用户工作和生活离不开的 AI 小助手。此次正式启动 200 万字超长上下文的内测申请后,月之暗面会逐步开放更多用户来体验具备超长无损上下文能力的 Kimi 智能助手,期待与更多用户共创智能。