近日,第 34 届国际多媒体大会 ACM Multimedia 2026 公布录用结果,江苏省语言计算及应用重点实验室多篇论文被会议接收。ACM MM 由国际计算机学会 ACM 主办,是中国计算机学会推荐的 A 类国际学术会议,长期被视为多媒体领域最具国际影响力的学术会议之一,覆盖视频、音频、人机交互与多模态智能等前沿方向。本届会议将于 2026 年 11 月 10 日至 14 日在巴西里约热内卢举行,其录用成果集中反映了跨模态信息处理与多模态大模型技术的发展方向。
江苏省语言计算及应用重点实验室(以下简称“实验室”)由思必驰科技股份有限公司牵头,联合上海交通大学、苏州大学共建,是江苏省在通用人工智能领域布局的重要战略科技力量。实验室以思必驰的产业平台为依托,汇聚上海交大、苏大的顶尖科研资源,形成“产学研用”深度融合的创新共同体,聚焦语言计算核心技术,贯通基础理论、关键算法、产业落地的全链条创新。
本次收录成果聚焦多模态及交互、大模型及智能体两大核心技术体系,以工具增强推理让多模态大模型在复杂视觉信息上做到看得准、算得对,持续增强实验室在细粒度视觉理解、可靠工具调用与参数高效建模方面的核心能力。相关进展为思必驰对话基座大模型 DFM 与 1+N 分布式智能体系统补强图文混合信息的理解与执行能力,支撑智慧办公场景中会议材料与经营报表的智能解读,并为金融、政务等行业客户的数据分析类服务提供更可信的技术底座。下面介绍本次收录的代表性成果:
工具增强的多模态图表推理
该成果面向办公与政企场景中报表、汇报材料里的图表难以被准确读取和计算的痛点,直接支撑数据解读更精准、分析结论更可信的客户价值。
CharTool: Tool-Integrated Visual Reasoning for Chart Understanding
图表推理既需要在密集版式中精准定位细节,又需要对数值进行精确计算,而现有多模态大模型多依赖纯文本推理,容易受语言先验影响产生幻觉,高质量训练数据也较为稀缺。该工作从数据与推理两端同步突破:一方面提出双源数据构建流程 DuoChart,融合代码合成图表与科研论文中的真实图表,由多个智能体协同生成并校验问答,构建了包含 10 万条高难度问答的训练集;另一方面为模型配备图像裁剪与代码计算两类工具,通过智能体强化学习让模型在推理中自主调用工具,先聚焦局部细节,再完成精确计算,并能依据任务特点灵活选择所需工具。
实验表明,CharTool 在六个图表推理基准上均取得一致提升。CharTool-7B 在真实场景基准 CharXiv 推理任务上较基座模型提升 8.0 个百分点,在 ChartQAPro 上提升 9.78 个百分点,六项平均得分超过 GPT-4o 等专有模型,并略高于参数规模约为其十倍的开源模型;在未经专门训练的视觉数学推理任务上同样取得提升,展现出良好的泛化能力。
该成果对思必驰核心技术体系的增益体现在两个层面。在多模态及交互技术体系上,它将多模态理解从语音、唇动、说话人等音视频信号进一步拓展到图表、报表等高信息密度的视觉内容,补齐了图文混合场景下的细粒度感知与数值推理能力。在大模型及智能体技术体系上,先聚焦、再计算的工具增强推理与 DFM 侧重工具调用和可靠任务执行的技术路线一脉相承:模型通过调用外部工具获取视觉证据与计算结果,而不是依赖语言先验直接作答,有助于减少幻觉、提升结论的可追溯性;以 7B 规模取得与更大模型相当的表现,也契合思必驰大小模型协同、以更低算力成本实现可靠执行的技术方向。
产品落地:
从内容整理到可靠执行,赋能智慧办公与行业智能体
智慧办公:会议与汇报中的大量关键信息以图表、报表形式呈现。相关能力可进一步融入思必驰 AI 办公本等智慧办公产品,以及基于分布式智能体框架的 OfficeClaw 办公架构,让会议纪要不仅记录发言内容,还能读懂会议材料中的数据,自动提取关键指标、对比趋势变化并生成可直接使用的要点,推动办公智能由内容整理向可靠执行升级。

行业服务:面向金融、政务等智慧运营服务客户,经营报表与统计材料中的图表数据可以被准确读取、比较与计算,分析过程有据可查。参数高效的特点有助于降低私有化部署的算力门槛,为数据敏感的政企客户提供更安全、更可信的智能分析服务。

智能体平台:工具增强推理的训练范式可为 1+N 分布式智能体系统与 DUI 中台 2.0 中的垂域智能体提供看图、计算等可复用的工具能力,并有望延伸至智慧出行与智慧物联终端中的图像与界面信息理解,提升多场景任务执行的可靠性。

依托相关能力,思必驰将进一步提升多行业项目中的场景适配速度与交付效率,为客户提供更精准、更可信的智能信息服务。
实验室将持续推进高水平科研成果向产品能力转化,围绕真实业务场景打磨可落地、可规模化、可持续优化的多模态与语言计算技术能力,助力思必驰服务智慧出行、智慧办公与智慧物联等重点场景。