上证报中国证券网讯(记者 郑维汉)1月28日,优刻得完成DeepSeek-OCR-2接入。 据悉,DeepSeek最新开源的DeepSeek-OCR-2,通过架构适配DeepEncoder V2,摒弃了经典的CLIP视觉分支,采用LLM作为视觉编码器,并提出视觉因果流(Visual Causal Flow)范式,以解决多模态大模型在面对复杂表格或非线性文本时,往往会出现的语义与序列错配问题。 具体来看,传统的视觉语言模型(VLM)存在固有的归纳偏置:光栅扫描,并施加固定的绝对位置编码(从左到右,从上到下)。这与人类“基于语义逻辑跳跃扫描”的视觉认知机制背道而驰——人类在阅读文档时,目光是随着逻辑流动,遇到表格会按列或按行扫视,遇到分栏会自动跳跃。 DeepSeek-OCR-2并未依赖位置编码来规定视觉token的语义顺序,而是引入因果流查询(causal queries),通过内容感知方式对视觉标记进行重排序与蒸馏。这种顺序不是由空间展开规则决定,而是由模型在观察全局视觉上下文后逐步生成,从而避免了对固定一维顺序的强依赖。 实验数据显示,DeepSeek-OCR-2在保持极高压缩率的同时,性能显著提升。
上证报中国证券网讯(记者 郑维汉)1月28日,优刻得完成DeepSeek-OCR-2接入。
据悉,DeepSeek最新开源的DeepSeek-OCR-2,通过架构适配DeepEncoder V2,摒弃了经典的CLIP视觉分支,采用LLM作为视觉编码器,并提出视觉因果流(Visual Causal Flow)范式,以解决多模态大模型在面对复杂表格或非线性文本时,往往会出现的语义与序列错配问题。
具体来看,传统的视觉语言模型(VLM)存在固有的归纳偏置:光栅扫描,并施加固定的绝对位置编码(从左到右,从上到下)。这与人类“基于语义逻辑跳跃扫描”的视觉认知机制背道而驰——人类在阅读文档时,目光是随着逻辑流动,遇到表格会按列或按行扫视,遇到分栏会自动跳跃。
DeepSeek-OCR-2并未依赖位置编码来规定视觉token的语义顺序,而是引入因果流查询(causal queries),通过内容感知方式对视觉标记进行重排序与蒸馏。这种顺序不是由空间展开规则决定,而是由模型在观察全局视觉上下文后逐步生成,从而避免了对固定一维顺序的强依赖。
实验数据显示,DeepSeek-OCR-2在保持极高压缩率的同时,性能显著提升。
下一篇:在群星之间聆听宇宙暗语