自回归“统一”多模态 中国大模型登上《自然》
创始人
2026-01-30 18:01:37
0次
人民网北京1月30日电 （记者赵竹青）1月28日，智源多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊《自然》。这是我国科研机构主导的大模型成果首次在《自然》正刊发表。
2018年以来，GPT采用“预测下一个词元（Next-token prediction，NTP）”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。“预测下一个词元”彻底改变了语言模型，促成了如ChatGPT等突破性成果，并引发了关于通用人工智能（AGI）早期迹象的讨论。然而，其在多模态学习中的潜力一直不甚明朗。多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态？一直是未解之谜。
智源此次提出的Emu3模型，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的Transformer架构。这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型。
《自然》编辑点评，Emu3仅基于“预测下一个词元”，实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
来源：人民网
相关内容
热门资讯
派能信创RS690-G10 为...
派能信创RS690-G10服务器，是一款为应对严苛计算挑战而精心打造的高性能专业平台。其核心搭载两颗...
苹果在华收入猛增38%：iPh...
出品｜搜狐科技 作者｜张雅婷 编辑｜杨锦 1月30日，苹果公司今天发布2026财年第一季度（2025...
拆解字节公益：新时代的新公益范...
最近，李亚鹏的嫣然天使儿童医院欠租新闻，又一次把“传统公益”推上了风口浪尖。 大家讨论得很热烈，捐...
自回归“统一”多模态 中国大模...
人民网北京1月30日电 （记者赵竹青）1月28日，智源多模态大模型成果“通过预测下一个词元进行多模态...
高世代OLED浪潮下的发光材料...
编者按：面板尺寸与性能的升级，本质上是底层材料科学的突破，而中国OLED产业的真正强大，必须建立在关...
悦己赛道爆发，兴趣驱动成年货消...
封面新闻记者 吴雨佳 1月29日，“什么值得买”正式发布《生活有热爱 年货更对味——2026“什么值...
146光年外新发现一颗“冰冻地...
近日，一颗体积大小、公转规律与地球极其相似的星体进入天文学家的视线。据科学家推演，这颗“冰冻版地球”...
国产开源模型卷赢Gemini ...
智东西 作者 | 程茜 编辑 | 云鹏 智东西1月30日报道，1月29日，商汤正式开源多模态自主推理...
硅基智能取得基于参考语音的语音...
国家知识产权局信息显示，南京硅基智能科技集团股份有限公司取得一项名为“一种基于参考语音的语音合成方法...
交通运输部：2026年将完成1...
钛媒体App 1月30日消息，在今天举行的交通运输部新闻发布会上，新闻发言人李颖介绍，科技创新平台是...
打通同人音乐创作与游玩的闭环？...
由中国同人音乐平台dizzylab推出的下落式节奏音游《DEFLATE 音序真空》现已发售。 作为面...
推动人工智能融入新兴产业
2025年以来，人工智能发展呈现走旺态势。通过深度嵌入生物制造、低空经济、新材料等领域，人工智能正超...
1.8 英寸 + LCD，这 ...
温馨提示： 最近来了很多新同学， 蓝字」， 右上角「···」， 将奇果酱「」， 以免错过重要消息哦~...
知识产权效益加速显现
国家知识产权局数据显示，2025年，我国发明专利有效量达到532万件，有效注册商标量为4987.7万...
威尔金森电梯取得双轿底结构货梯...
国家知识产权局信息显示，浙江威尔金森电梯有限公司取得一项名为“一种双轿底结构的货梯”的专利，授权公告...
江苏电信“全链式服务”浸润万家...
在数字浪潮奔涌向前的今天，如何让技术更有温度，让服务贴近人心，是全社会共同关注的课题。江苏省通信管理...
全国首例生成式AI“幻觉”引发...
全国首例生成式AI“幻觉”引发侵权之诉 杭州互联网法院：为生成式人工智能服务厘清责任边界 导读 生成...
苏州交通综合执法数字化指挥智能...
近日，交通运输部公布了综合交通运输大模型智能体创新应用典型案例评选结果。由苏州市交通运输应急指挥中心...
Steam去年共发布20282...
IT之家 1 月 30 日消息，独立游戏开发者兼营销顾问 Chris Zukowski 对 Stea...
《噬血代码2》调和之月结局全流...
手游巴士（www.shouyoubus.com）2026年01月30日:作为《噬血代码2》三大结局之...