腾讯云TencentOS Server AI，助力荣耀打造高性能AI底座
创始人
2025-06-10 05:01:48
0次
随着生成式AI技术的爆发式增长，AI大模型开始渗透至手机领域，一线厂商已经把AI应用集成到各自最新的产品中，并且在以惊人的速度迭代。为了进一步提升大模型部署的效能，荣耀基于应用腾讯云TencentOS Server AI中提供的TACO-LLM加速模块部署DeepSeek-R1等开源大模型，并应用荣耀企业内部等场景，稳定性、可靠性、推理性能均大幅提升。
在推理平台场景中，荣耀侧重关注框架效能、稳定性、运行状态监控及应急预案等特性。使用TACO-LLM进行推理任务后，在DeepSeek-R1 满血版场景下，相对于荣耀原始线上业务性能，TTFT（首Token 延迟）P95 的响应时间最高降低6.25倍，吞吐提升2倍，端到端延迟降低100%。在社区最新版本sglang场景下，TTFT P95的响应时间最高降低12.5倍。
腾讯云TACO-LLM之所以能够对荣耀业务的性能提升如此明显，主要的得益于多种投机采样技术核心能力：大语言模型的自回归解码属性无法充分利用GPU的算力，计算效率不高，解码成本高昂。而TACO-LLM通过投机采样的方式，从根本上解决了计算密度的问题，让真正部署的大模型实现“并行”解码，从而大幅提高解码效率。
荣耀大数据平台部相关负责人表示：“荣耀使用腾讯云 TACO-LLM 打造高性能的AI底座，部署稳定可靠，提升了性能加速体验。”
TencentOS Server AI加速版中提供的TACO-LLM加速模块，针对企业级AI模型私有化部署挑战，对大语言模型业务进行了专门的内核运行优化，用于提高大语言模型的推理效能，提供兼顾高吞吐和低延时的优化方案，能够“无缝”整合到现有的大模型部署方案中。
相关内容
热门资讯
影响力投资是改变世界的金融力量
人类肆无忌惮地向地球索取资源，大量排放温室气体、污水和各类废弃物，却从未意识到地球正在接近承载能力的...
从百万预算到几分钟成片：百度蒸...
在品牌营销的世界里，视频一直是最贵又最折腾的内容拼图。 拍一条像样的TVC广告，可能要烧掉上百万元；...
问题更大了？这次“星舰”没飞起...
上观新闻消息，美国太空探索技术公司（SpaceX）原定于当地时间8月24日晚在得克萨斯州进行新一代重...
首个运用 AI 技术的适老电视...
IT之家 8 月 25 日消息，中国视像行业协会上周发布了《适老化电视人工智能技术要求》，该标准由海...
海南：Ⅰ级响应！非必要不出门！
海南省防灾减灾救灾委员会 关于将防汛防风Ⅱ级应急响应提升至 Ⅰ级应急响应的通知 ↓ 各市、县、自治县...
要来了？曝《极限竞速：地平线6...
微软已确认《极限竞速》系列新作将在明年推出。由于《极限竞速：Motorsport》近期刚刚发售，因此...
《明末》夏思源谈游戏开发：做前...
近日，凤凰网财经发布了对《明末：渊虚之羽》制作团队灵泽科技进行采访的视频。 在采访中，灵泽科技联...
因为合作玩法《使命召唤：黑色行...
自《使命召唤》系列战役模式诞生以来，玩家就一直可以选择最适合自己的难度——无论是新兵、普通、老兵还是...
三年磨一剑，企业微信5.0如何...
继2022年1月企业微信4.0版本发布之后，企业微信于上周做了3年多来的首次重大版本更新——企业微信...
做医疗健康领域的创新尖兵
通过无创脑机接口帽采集患者大脑信息，再借助强大算力进行计算分析，构建脑功能状态、神经肌肉控制和运动意...
微软新技术！ROG Xbox ...
微软宣布将于10月16日发售便携式游戏掌机“ROG Xbox Ally”及“ROG Xbox All...
《牧场物语 来吧！风之繁华集市...
在整个《牧场物语》系列中，如果说《矿石镇的伙伴们》是名声最响、受众最广的一代经典，那么《风之集市》则...
PDM系统与邮件系统、即时通讯...
在当今这个信息爆炸、追求效率的时代，我们每天都在各种软件之间来回切换，试图跟上工作的节奏。想象一下这...
智能制造背景下，我国机器人教育...
8月8日~12日，2025世界机器人大会（WRC）在北京亦庄北人亦创国际会展中心圆满举行，近百万名观...
剧透警告！《丝之歌》Steam...
万众期待的《空洞骑士：丝之歌》在不到两周后即将正式发售，Steam平台公布了系列社区物品及集换式卡牌...
《寂静岭f》第一人称游戏玩法视...
近日油管主daModder100分享了他在科隆展现场拍摄的《寂静岭f》第一人称游戏玩法视频，展示了游...
麦锐德IPD咨询：IPD体系下...
产品经理承担着实现公司某业务单元的业务目标的责任，他需要利用好公司提供的组织、流程、人力资源和绩效管...
原创 嘎...
在直播带货的浪潮中，近日一场围绕 “嘎子哥” 谢孟伟直播间一款售价 699 元的酷派手机的争议，引发...
山东化友取得具有冷凝功能的捕沫...
金融界2025年8月25日消息，国家知识产权局信息显示，山东化友水处理技术有限公司取得一项名为“一种...