腾讯云TencentOS Server AI，助力荣耀打造高性能AI底座
创始人
2025-06-10 05:01:48
0次
随着生成式AI技术的爆发式增长，AI大模型开始渗透至手机领域，一线厂商已经把AI应用集成到各自最新的产品中，并且在以惊人的速度迭代。为了进一步提升大模型部署的效能，荣耀基于应用腾讯云TencentOS Server AI中提供的TACO-LLM加速模块部署DeepSeek-R1等开源大模型，并应用荣耀企业内部等场景，稳定性、可靠性、推理性能均大幅提升。
在推理平台场景中，荣耀侧重关注框架效能、稳定性、运行状态监控及应急预案等特性。使用TACO-LLM进行推理任务后，在DeepSeek-R1 满血版场景下，相对于荣耀原始线上业务性能，TTFT（首Token 延迟）P95 的响应时间最高降低6.25倍，吞吐提升2倍，端到端延迟降低100%。在社区最新版本sglang场景下，TTFT P95的响应时间最高降低12.5倍。
腾讯云TACO-LLM之所以能够对荣耀业务的性能提升如此明显，主要的得益于多种投机采样技术核心能力：大语言模型的自回归解码属性无法充分利用GPU的算力，计算效率不高，解码成本高昂。而TACO-LLM通过投机采样的方式，从根本上解决了计算密度的问题，让真正部署的大模型实现“并行”解码，从而大幅提高解码效率。
荣耀大数据平台部相关负责人表示：“荣耀使用腾讯云 TACO-LLM 打造高性能的AI底座，部署稳定可靠，提升了性能加速体验。”
TencentOS Server AI加速版中提供的TACO-LLM加速模块，针对企业级AI模型私有化部署挑战，对大语言模型业务进行了专门的内核运行优化，用于提高大语言模型的推理效能，提供兼顾高吞吐和低延时的优化方案，能够“无缝”整合到现有的大模型部署方案中。
相关内容
热门资讯
原创 I...
LOL德杯依旧在火热进行中，这一次是IG和LNG的对决，要知道，现在半决赛的对战已经是来到线下了，火...
达尔科技申请线扫成像装置校正方...
国家知识产权局信息显示，达尔科技股份有限公司申请一项名为“线扫成像装置以及线扫成像装置的校正方法和控...
祛魅之年：2026科技凉点展望
每到岁末年初，我们就会被众多研究机构的预测所包围。不少科技公司的朋友，也希望跟我们交流一下对来年的行...
HH-200无人机在西安总装下...
2025年12月29日，由中国航空工业集团西飞民机（以下简称“西飞民机”）自主研制的新舟鸿鹄HH-2...
原创 2...
站在2025年岁末，回望这一年，中国与全球商业版图经历了一场深刻的“范式转移”。 如果说2024年是...
长华控股取得上料传送装置专利，...
国家知识产权局信息显示，长华控股集团股份有限公司取得一项名为“一种上料传送装置”的专利，授权公告号C...
2026，人形机器人奇点将至？...
经观评论 陈白 | 文具身智能无疑是2025年全球科技界最火爆的赛道。从今年年初宇树机器人登上春晚...
盘点2026五大便宜的云手机推...
在2026年云手机市场竞争趋于白热化的当下，众多品牌和产品如繁星般涌现，让不少用户在挑选时犯了难，不...
原创 L...
在12月上旬LPL转会期落下帷幕后，让人感到十分意外的是身为LPL老牌豪门的RNG竟然毫无存在感。不...
科普：充电时的这些错误行为要警...
如今，不少人有整夜给手机充电的习惯，然而，这种行为潜藏着巨大的安全风险。充电时的这些错误行为要警惕：...
“AI教父”约书亚·本吉奥示警...
来源：市场资讯 （来源：IT之家） IT之家 1 月 1 日消息，当地时间 2025 年 12 月 ...
岁启新程 杭州以创新为笔擘画民...
中新网杭州1月1日电(蓝伊旎)“过去这一年非常激动人心，从2025年年初开始，机器人行业真正点燃了全...
智慧园区管理系统，创新楼宇资产...
智慧园区管理系统整合了多种先进技术，达到高效管理楼宇资产的目标。这一系统以数据为驱动，能够实时监控区...
宏明传动取得行星架连接结构专利...
国家知识产权局信息显示，江苏宏明传动机械配件有限公司取得一项名为“一种行星架的连接结构”的专利，授权...
原创 2...
2025年8月，一位天才工程师的人生彻底崩塌。李雪晨从xAI核心团队离职前，不仅套现700万美元股票...
原创 李...
文/李光斗 2026将开启怎样一个新周期？对于承平日久的我们，这将是另一种意义上的繁荣：科技挑战，增...
马斯克，宣布旗下脑机接口最新进...
脑机接口赛道突传大消息！ 日前，埃隆·马斯克称，旗下脑机接口公司Neuralink将于2026年启动...
原创 胜...
大家好我是指尖，本文来跟大家分享一些营地的趣味数据榜。 数据均来自营地12月31日的更新，是全分段的...
在壮阔的航程中相信点滴的力量
（来源：辽宁日报） 转自：辽宁日报 新华社记者 涂洪长 当2026的海平线迎来新的日出，“中国号”巨...
互联网优创者“说” | “图灵...
在上海杨浦区，有一处简约别致的办公空间，王依然正和团队为最新的AI科普视频做最后的调试。他身后的书架...