智东西

作者 | 程茜

编辑 | 云鹏

智东西1月30日报道，1月29日，商汤正式开源多模态自主推理模型SenseNova-MARS-8B和SenseNova-MARS-32B。该系列模型在多模态搜索与推理的核心基准测试中性能超越Gemini 3 Pro、GPT-5.2。

商汤指出，SenseNova-MARS是首个支持动态视觉推理和图文搜索深度融合的Agentic VLM模型。

该框架能够在多轮推理过程中主动运用图像搜索、文本搜索和图像裁剪工具，如通过放大、裁剪图片寻找细节，然后调用文本、图片搜索工具查询背景信息，且这一过程无需人工干预。

在MMSearch、HR-MMSearch、FVQA、InfoSeek、SimpleVQA、LiveVQA等基准测试中，SenseNova-MARS取得开源模型中的SOTA成绩。

商汤日日新SenseNova-MARS模型、代码、数据集全开源。

GitHub地址：

一、自动放大图片看细节，调用外部工具进行文字、图片搜索

尽管视觉语言模型（VLM）能够通过智能推理解决复杂任务，但其主要局限于面向文本的思维链或孤立的工具调用。尤其是在需要协调外部工具（例如搜索和图像裁剪）的知识密集型和视觉复杂场景中，它们无法展现出人类所需的熟练程度，无法将动态工具操作与连续推理无缝衔接。

基于此，商汤研究团队推出了SenseNova-MARS。SenseNova-MARS能在生活和工作的场景，解决需要“多步骤推理+多工具协作”的问题，如可以通过裁剪放大图片的细节、进行图像搜索、进行文本搜索。

下方模型需要完成识别赛车服微小Logo、查询公司成立年份、匹配车手出生年月、计算差值的复杂任务，SenseNova-MARS可自主调用图像裁剪、文本/图像搜索工具，无需人工干预完成解答。

其还能从产品和行业峰会的照片中，如根据下面的汽车图片识别出汽车品牌的标志、确认车型，然后结合文本和图像搜索给出答案。

SenseNova-MARS能从赛事照片中识别画面中的Logo、人物等信息，追溯比赛或人员背景信息，快速补充重要细节。

该模型还能处理超长步骤的多模态推理，和超过三种工具调用，自动裁剪分析细节、搜索相关研究数据，快速验证假设，得出关键判断。例如根据下方图片，其能快速抓取精准信息，包括公司成立年份、人物出生年月等。

二、搜索能力超Gemini-3-Pro、GPT-5.2，跨任务调用工具强过Qwen3-VL-8B

为了全面评估智能视觉学习模型（VLM）在复杂视觉任务上的性能，研究团队引入了HR-MMSearch基准测试。

作为评估VLM智能体细粒度感知和搜索推理能力的基准测试。该数据集包含305张4K分辨率的图像，这些图像来自8个不同的、具有高影响力的领域，涵盖体育、休闲文化以及科学技术等。

▲HR-MMSearch测试集的数据包含情况

实验表明，SenseNova-MARS在开源搜索和细粒度图像理解基准测试中均表现较优。在面向搜索的基准测试中，SenseNova-MARS-32B在MMSearch和HR-MMSearch上的得分分别为74.3和54.4，超越了Gemini-3-Pro和GPT-5.2等专有模型。

在知识密集型MMSearch基准测试中，SenseNova-MARS主要依赖图像和文本搜索工具来获取外部信息，对基于裁剪的感知依赖性极低。相比之下，在既需要高分辨率感知，也需要复杂的推理的HR-MMSearch测试中，SenseNova-MARS展现出更为均衡的工具使用，表明其能够有效地整合局部视觉线索和外部知识。

与Qwen3-VL-8B相比，SenseNova-MARS-8B通过动态地为每种任务场景选择最有效的工具，展现出更强的跨任务适应性。

▲SenseNova-MARS-8B的自适应工具使用行为

SenseNova-MARS-32B在六项基准测试中与其他模型的整体性能对比显示，MMSearch、HR-MMSearch和FVQA等搜索导向型基准测试中，该模型超越了Gemini-3-Pro和GPT-5.2等专有模型。

面向视觉理解，在V Bench和HR-Bench等高分辨率感知基准测试中，SenseNova-MARS-32B性能优于Qwen3-VL-235B-A22B等模型。

三、系统框架+强化学习，采用双阶段流水线并行训练策略

SenseNova-MARS基于Qwen2.5-VL-7B-Instruct，采用两阶段流水线进行训练，先进行系统框架训练（SFT），再进行强化学习（RL）训练。

第一阶段，其针对跨模态搜索推理训练数据稀缺的痛点，的提出了基于多模智能体的自动化数据合成引擎，采用细粒度视觉锚点与多跳深度关联检索的机制，动态挖掘并关联跨网页实体的逻辑，自动化构建高复杂度的多跳推理链路，同时引入闭环自洽性校验来去除幻觉数据，构造出具备严密逻辑链条与高知识密度的多跳搜索问答数据。

其筛选的高难度案例中，每个案例都标注了“该用什么工具、步骤是什么”，让AI先学会基本的解题逻辑，确保AI一开始就接触真实复杂场景。

第二阶段训练采用强化学习，AI每做对一次决策，比如选对工具、步骤合理就会获得奖励，做错了就调整策略。

此外，为了避免AI“学偏”，研究团队还引入了BN-GSPO算法，让模型在处理简单题和复杂题时都能保持稳定进步，不会出现“偏科”。

这种基于双阶段归一化的机制可以平滑动态工具调用返回分布多样性带来的优化波动并确保学习信号分布的一致性，从而解决跨模态多步多工具智能体训练过程中的收敛性难题。

经过这样的训练，AI不仅学会了用工具，还能知道在什么情况下应该使用哪些工具，以及如何将不同工具的结果有机结合起来。

结语：多模态AI能自主解题，或加速产业端AI应用

商汤提出了新型的多模态智能推理与搜索模型，该模型能够在多轮推理过程中主动运用图像搜索、文本搜索和图像裁剪工具，提升了AI从被动响应指令到主动规划步骤、调用工具解决复杂问题的能力。

聚焦到真实的业务场景，在工业质检、金融风控、传媒内容分析、赛事数据挖掘、科研辅助等领域，模型此前受限于看不清细节、不会查背景、无法处理复杂多步骤任务的落地痛点。SenseNova-MARS无需人工干预的闭环解题能力，或大幅提升产业端的AI应用效率。