新方法提升AI预训练效率和准确性
创始人
2025-12-16 02:42:15
0次
科技日报讯（记者 刘霞）加拿大滑铁卢大学研发出一种名为SubTrack++的全新训练方法，不仅可大幅缩短大语言模型的预训练时间，更能显著提升其准确性。这一突破有望降低构建人工智能（AI）工具的成本与环境负担，让更多人用上强大、便捷的AI技术。
大语言模型是基于深度神经网络、专注于理解与生成人类自然语言的AI系统。其核心能力源于海量文本数据的预训练，借此学习语法规律、语义逻辑及上下文关联，从而输出贴近人类表达习惯的内容。这类模型的“大”体现在两方面：一是训练数据规模巨大，二是模型参数量极为庞大。正因如此，对其进行预训练往往需要数月时间，并消耗大量算力、专用硬件及电力，高昂成本使一般企业与机构难以承担。
为破解这一难题，团队开发出SubTrack++方法，可将预训练耗时缩减一半。团队指出，大语言模型能耗极高，即便训练时间仅减少5%，也能带来显著效益。从长远看，此类技术进步将推动更多人自主构建专属的大语言模型。
团队解释说，大语言模型本质是由庞大数字矩阵构成的神经网络，通过数十亿次试错学习预测文本序列。每当预测出错，模型便微调其数学参数以提升准确率。这一过程如同让模型“阅读整座图书馆”，从中学习人类如何使用语言。SubTrack++通过聚焦对任务最关键的核心参数，简化校正流程，实现高效微调，从而加速整体预训练。
团队期望，通过节省预训练时间，未来不只大型企业，普通用户也能构建并定制属于自己的AI工具。安全学习个人偏好后，大语言模型可成为真正的智能数字助理，适应不同用户的风格、目标与需求，成为人类工作与创造中的得力伙伴。
团队将在墨西哥城举办的神经信息处理系统会议上正式发表相关论文。
编辑：申久燕
相关内容
热门资讯
《王者荣耀》S42季战令皮肤确...
王者荣耀S42赛季即将返场的战令皮肤，共计有9款，接下来，一起看看本期内容吧。 包括：妲己-灵卜魔...
Nintendo Switch...
（全球TMT2025年12月16日讯）Imagineer Co., Ltd.宣布，在Walt Dis...
一加 Ace 6T 原神神里绫...
前几天拍东北游记的时候，一加 Ace 6T 原神神里绫华定制机送到家里，这份精致比其他同行感受的晚一...
长三角（盐城）数字视听产业基地...
当丹顶鹤展开双翼化作江湖侠客，当麋鹿踏蹄而行尽显侠义风范，AIGC技术正让江苏盐城的生态名片在数字世...
智慧城市主题汇总（2025-1...
智慧城市是指在城市规划、设计、建设、管理与运营等领域中，通过物联网、云计算、大数据、空间地理信息集成...
误解近40年：天王星辐射之谜是...
IT之家 12 月 16 日消息，科技媒体 Space 于 12 月 10 日发布博文，报道称西南研...
为孩子们系好“安全扣”
孩子们在交警引导下学习交通安全知识。 本报讯 校园安全无小事，童心守护系万家。为全面落实西安公安“金...
中科天网低空数字化管控平台正式...
随着低空经济蓬勃兴起，无人机在巡检、物流等场景的应用不断深化，产业迎来规模化发展的关键机遇。安全是低...
《Dota 2》发布7.40版...
IT之家 12 月 16 日消息，《Dota 2》在今日迎来了最新的 7.40“大版本”，这一版本中...
GOG推出赞助人计划：玩家可选...
IT之家 12 月 16 日消息，GOG 商城是一个专注于优秀老游戏 (Good Old Games...
智能传感“产业森林” 引来“金...
来源：宁波网 这几天，致力于康养机器人研发与产业化的无锡年欢科技有限公司，正有序将研发和运营部门拓展...
南沙给力 引力“啡”凡
给力咖啡已累计服务超万个项目，客户覆盖互联网巨头腾讯和阿里巴巴等。受访者供图 焦糖拿铁、美式、卡布奇...
实力登榜！华博信息入选“202...
近日，由中国科学院主管、科学出版社主办的商业期刊《互联网周刊》（CIW）联合德本咨询（DBC）、eN...
七部门：到2027年初步构建产...
人民网北京12月15日电 （记者方经纶）据工业和信息化部官网消息，近日，生态环境部、国家发展改革委、...
韩媒曝蓉城主帅徐正源离任几成定...
北京时间12月15日消息，据韩国媒体《体育趋势》报道称，成都蓉城队主帅徐正源离任几乎已成定局。 此前...
潮声丨一根丝线的“东成西就”：...
01丝绸产业实现“东绸西固”布局，中西部延伸产业链，东部强化科技引领，形成协同发展新格局。 02桑农...
还在担心AI泡沫？调查：九成企...
财联社12月15日讯（编辑 卞纯）在过去一年的大部分时间里，伴随着AI泡沫担忧加剧，华尔街和硅谷都面...
临潼人必看！旧手机回收新要求，...
近年来，手机、电脑等电子产品更新换代频率加快，大量旧手机、旧电脑进入回收渠道，但是这些电子产品中存储...
科学家发现全球河流入海磷通量“...
（来源：科普中国） 转自：科普中国 磷是不可再生的生源物质，其由陆地经河流向海洋输送的通量变化直接影...
原创 云...
文|有风 编辑|有风 现在企业搞AI部署，很多人上来就问，选云端还是本地服务器？用通用模型还是定制算...