开云体育商讨团队进行了一次＂AI体检＂-开云「中国」kaiyun体育网址-登录入口

发布日期：2026-03-24 06:47    点击次数：71

这项由约翰霍普金斯大学、亚马逊、纽约大学和德州农工大学共同开展的商讨，发表于2026年3月的arXiv预印本平台（论文编号：arXiv:2603.09095v1），揭示了一个令东谈主不测的快意：当咱们把笔墨变成图片给AI看时，它的阐发尽然会大幅着落。

你可能会以为奇怪，刻下的AI不是很横蛮吗？能看图言语，还能无间复杂内容。然则商讨团队发现了一个意思的问题：相通一段笔墨，如果径直以文本款式输入给AI，它能答对90分；但如果把这段笔墨作念成图片再给AI看，它可能只可答对30分。这就像一个学霸学生，看纸质试卷能考满分，但看电子屏幕上的合并份试卷就短暂不会了。

这种快意被商讨团队称为"模态差距"，即是相通的内容，换个呈现方式，AI的无间能力就出现了明白互异。为了透顶搞明晰这个问题，商讨团队进行了一场"AI体检"，测试了七个不同的多模态大语言模子，包括GPT-5.2、Qwen系列、InternVL系列等有名模子，在七个不同任务上的阐发。

更让东谈主骇怪的是，商讨团队还发现这种"失聪"快意并不是全面的。当AI看确切的文档图片（比如PDF页面或维基百科截图）时，阐发不时比看东谈主工合成的笔墨图片要好得多。这就像合并个东谈主，看报纸能看懂，但看黑板上的粉笔字就微辞了。

通过深远分析非常4000个谬误案例，商讨团队得出了一个要津论断：AI在图像模式下主若是"阅读"出了问题，而不是"想考"能力着落。换句话说，AI的智谋还在，只是"眼睛"出了症结。基于这个发现，他们配置了一种"自我学习"的教师方法，让AI用我方在文本模式下的推理经过来训诲我方若何更好地无间图像中的笔墨。这种方法在数学问题上取得了惊东谈主恶果，准确率从30.71%擢升到92.72%。

一、当AI遭受"换装"笔墨：模态差距的确切面孔

咱们先来无间一个基本认识：什么是多模态大语言模子？简便来说，这就像给AI装了多种"感官"，它既能读笔墨，又能看图片，还能无间它们之间的关连。闲居情况下，你给它一段笔墨或一张图片，它皆能给出合理的回复。

但商讨团队发现了一个奇怪快意。他们准备了相通的内容，比如沿途数学题："小明有5个苹果，吃了2个，还剩几个？"当他们径直把这个问题以笔墨款式输入AI时，AI回答得很好。但当他们把这个问题作念成一张图片（就像截图一样），再给AI看时，AI的阐发短暂变差了。

这种互异到底有多大呢？商讨团队测试了各式不同类型的任务。在知识问答方面，比如问"法国的皆门是那儿"，笔墨模式和图片模式的互异还算不错吸收，无意独一1-8分的差距。但在数学问题上，这个差距就变得惊东谈主了，有些AI模子的准确率从95%径直掉到了30%，差距非常60分。

更意思的是，商讨团队发现这种快意并不是完竣的。当他们使用确切寰宇的文档图移时——比如径直从学术论文PDF中截取的页面，或者维基百科网页的截图——AI的阐发不时比东谈主工制作的笔墨图片要好许多。有时辰，确切图片模式下的阐发以致非常了纯笔墨模式。

这就像一个意思的对比：合并个东谈主看手写字条可能看得很明晰，但看打印的标签反而看不懂，而看报纸又能看得很明晰。问题不在于这个东谈主的阅读能力，而在于不同呈现方式对他产生了不同的影响。

商讨团队还发现，字体采纳对AI的影响大得出东谈主意象。他们尝试了四种不同的字体款式：尺度印刷体、白字黑底的反色模式、等宽字体（像圭表代码那样的字体）和手写字体。限度泄露，手写字体给AI形成的困扰最大，准确率着落幅度高达47个百分点。这证据AI在教师经过中可能很非凡得手写字体的文本图片，是以濒临这种"生分装饰"的笔墨时就不知所措了。

图片分歧率亦然一个伏击身分。当商讨团队责难图片分歧率时，大部分AI模子皆出现了性能着落。不外有个例外，InternVL3.5模子阐发出了惊东谈主的平定性，即使在分歧率责难到原本25%的情况下，仍然能保合手精良阐发。这是因为该模子配备了特殊的"视觉分歧率路由器"工夫，就像给AI装了一副自动调整的眼镜。

二、揭秘AI的"阅读豪爽"：谬误分析的惊东谈主发现

为了搞明晰AI到底在哪些方面出了问题，商讨团队进行了一次"AI体检"。他们蚁集了非常4000个AI犯的谬误，然后像医师会诊病东谈主一样，仔细分析每个谬误的类型和原因。

此次分析接纳了一种叫作念"扎根表面"的商讨方法，简便来说即是不事先设定谬误类型，而是从本体谬误中归来行径。商讨团队先让GPT-5.2对这些谬误进行初步分类，然后由东谈主类商讨者进行最终的归类和考证。这个经过就像是先让AI助手整理辛苦，然后众人再进行最终判断。

经过分析，他们发现AI的谬误主要分为七大类。最常见的是认识性和事实性谬误，占到了30.4%，这类谬误主若是AI不知谈或记错了某些知识点。第二常见的是不完好意思回答，占26%，即是AI给出的谜底不够完好意思或者干脆没回答。

但最要津的发现是：当AI从笔墨模式切换到图片模式时，推测和数学谬误的比例权臣加多了1.5倍，从11.1%高潮到16.7%。样式谬误也有所加多，从5.9%高潮到8.0%。这些皆是典型的"阅读谬误"——AI看错了数字、标志或者输出样式条款。

比较之下，那些需要深度想考的谬误类型，比如认识无间谬误和推理谬误，在图片模式下并莫得权臣加多。这就像一个学生捕快时，抄错题目或算错简便推测的情况加多了，但对复杂认识的无间能力其实莫得着落。

商讨团队还发现了一个相等意思的快意：某些AI模子在图片模式下会出现"推理链条崩溃"。具体阐发是，在笔墨模式下，AI会详备写出解题要领，比如解沿途数学题时会写："率先推测...然后...临了得出限度..."。但在图片模式下，相通的AI可能径直给出谜底，跳过整个中间要领。

这种快意在Qwen3-VL-8B模子上阐发得最明白。在笔墨模式下，它平均会写618个字符来解释数学问题的求解经过，但在图片模式下只写32个字符，裁减了19倍！这就像一个平时很爱解释的憨厚，短暂变得字斟句酌，只给谜底不讲经过。

不同类型的任务显裸露不同的谬误模式。数学题（GSM8K）的谬误主要蚁集在推测虚伪上，这很好无间，因为看错一个数字就会导致整个这个词谜底谬误。编程题（HumanEval）则容易出现样式谬误，因为代码对缩进、空格等样式条款很严格，而图片模式下AI容易丢失这些细节信息。知识问答类题目（ARC、GPQA、MMLU）的谬误主要如故认识和事实性谬误，证据在这些任务上，"阅读"问题的影响相对较小。

三、颐养AI"阅读豪爽"的翻新疗法

基于对AI"病症"的深远了解，商讨团队配置了一种翻新的颐养方法，他们称之为"自我蒸馏"。这个听起来很工夫的名词，本体上认识很简便：让AI用我方的"好阐发"来训诲我方如安在"坏景况"下也能阐发得好。

具体来说，即是这么操作的：商讨团队率先让AI在笔墨模式下处分一批数学问题，纪录下它的详备推理经过。然后，他们把相通的问题制作成图片，配上AI之前在笔墨模式下的推理经过，让AI学习"当我看到这么的图移时，我应该这么想考"。这就像让一个学生对照我方的满分功课，学会如安在不同捕快环境下皆能写出相通质地的谜底。

这种方法的巧妙之处在于，它不需要东谈主类众人来提供尺度谜底。AI自己即是我方的憨厚，用我方的优秀阐发来领导我方的跳动。商讨团队发现，即使包含一些谬误的推理经过，这种自我学习亦然有用的。因为AI在笔墨模式下本来准确率就很高（93.56%），是以大部分的"教养材料"皆是高质地的。

施行限度令东谈主惊喜。在数学问题测试（GSM8K）上，经过这种自我教师后，AI的图片模式准确率从30.71%飙升到92.72%，险些达到了笔墨模式的水平（93.56%）。这种改造幅度短长常权臣的，非常于把一个不足格的学生培养成了优等生。

商讨团队还测试了三种不同的教师计谋。第一种是同期调整AI的"眼睛"（视觉编码器）和"大脑"（语言模子），第二种只调整"大脑"，第三种只调整"眼睛"。限度发现，调整"大脑"的恶果最佳，只调整"眼睛"的恶果次之，这证据问题的根源主要在于若何处理视觉信息，而不是若何得到视觉信息。

更让东谈主安逸的是，这种教师方法不会让AI"衣不蔽体"。商讨团队在其他任务上测试了经过教师的AI，发现它不仅保合手了原有的能力，在某些任务上以致还有所擢升。在ARC科学推理任务上，笔墨-图片差距从0.68降到0.42；在知识问答（MMLU）上，差距从7.43降到2.79；在编程任务（HumanEval）上，差距从6.71降到1.83。

这种快意证据，AI学到的不是针对特定任务的手段，而是更基础的"若何更好地无间图片中的笔墨"的能力。这种能力是通用的，不错迁徙到不同的任务中。

四、确切寰宇vs东谈主工寰宇：渲染方式的纷乱影响

商讨经过中，团队发现了一个不测的行径：AI在处理确切文档图移时的阐发，不时比处理东谈主工制作的笔墨图片要好得多。这个发现蜕变了他们对"模态差距"的无间。

当商讨团队使用确切的学术论文PDF页面和维基百科截图进行测试时，AI的阐发频繁能够达到以致非常纯笔墨模式的水平。以QASPER学术问答任务为例，险些整个AI模子在确切PDF图片模式下的阐发皆优于纯笔墨模式。GPT-5.2的准确率从51.92%擢升到77.25%，Qwen2.5-7B-VL从30.49%擢升到64.38%。

这种快意的原因在于教师数据的散布。当代AI模子在教师经过中见过多数确切寰宇的文档图片——网页截图、PDF页面、扫描件等等。因此，当它们遇到近似的确切图移时，就像回到了肃肃的环境，能够更好地领悟能力。

相悖，东谈主工制作的笔墨图片——纯白布景配玄色笔墨，调处字体，尺度排版——反而成了"异类"。这就像一个俗例了看各式笔迹的医师，短暂遇到尺度印刷体反而不得当了。

为了考证这个假定，商讨团队进行了详备的字体对比施行。他们制作了四种不同作风的笔墨图片：尺度黑字白底、反色白字黑底、等宽字体（近似圭表代码），以及手写稿风字体。限度泄露，反色和等宽字体的影响皆比较小，因为这些在蚁集上比较常见。但手写字体形成的准确率着落最为严重，在某些模子高着落幅度非常40个百分点。

图片分歧率的影响也很意思。大多数AI模子在分歧率降到原本的50%时还能督察闲居阐发，但再往下就运行出现明白着落。不外，即使在最低分歧率（25%）下，图片模式消耗的推测资源仍然比笔墨模式多。这证据，仅从推测服从角度来看，图片模式并莫得明白上风。

商讨团队还发现了一个优化手段：使用10号小字体在全分歧率画布上渲染笔墨，让笔墨只占用图片5-11%的面积。这种"紧凑渲染"方式让整个AI模子的阐发皆有所擢升，阐述了巧妙的视觉缱绻不错匡助AI更好地无间内容。

五、数字解码：深度分析揭示的行径

通过对七个AI模子在七个不同任务上的全面测试，商讨团队积蓄了多数的数据，这些数字背后隐敝着意思的行径。

在知识型任务上，模态差距相对较小。MMLU多学科知识测试中，最佳的模子（GPT-5.2）在笔墨模式下能达到92.33%，图片模式下为90.93%，差距独一1.4个百分点。GPQA商讨生级别科学问题的差距也近似，大部分在1-8个百分点之间。这证据关于主要依靠驰念和基础推理的任务，"阅读豪爽"的影响相对有限。

数学任务泄露了最大的模态差距。GSM8K小学数学题上，一些模子的差距非常60个百分点。最顶点的例子是Qwen3-VL-8B，从笔墨模式的93.56%掉到图片模式的30.71%，差距高达62.85个百分点。这印证了前边的分析：数学题对精准读取数字和标志的条款很高，任何"看错"皆会导致连锁谬误。

编程任务（HumanEval）呈现出意思的模子互异化快意。有些模子如GPT-5.2和InternVL3.5-8B在图片模式下险些不受影响，以致还略有擢升。但另一些模子如Pixtral-12B则大幅着落，从39.02%降到47.56%。更奇怪的是Qwen2.5-32B-VL，它在笔墨模式下独一31.10%，但图片模式下却达到85.98%，完全颠覆了知识。

这种反常快意可能证据该模子的笔墨模式代码生成能力存在校准问题，而图片模式反而激活了更好的推理旅途。这教唆咱们，AI模子的行径有时辰会超出咱们的预期，不成简便地认为笔墨模式老是最佳的。

通过OCR（光学字符识别）测试，商讨团队发现了另一个伏击行径：纯正的笔墨识别能力与任务阐发之间的连络性并不彊。他们让AI先从图片中索要笔墨，再用索要的笔墨处分任务，发现OCR谬误率与最终准确率的连络所有这个词独一-0.238。这个相对较弱的连络性证据，问题不单是在于"看明晰笔墨"，更在于"无间笔墨在图片中的含义"。

推测资源分析泄露，图片模式需要的推测量是笔墨模式的1.4到4.7倍，在长文档任务中以致不错达到29倍。这个推测支拨主要来自于处理视觉信息的经过。即使在责难分歧率的情况下，图片模式仍然比笔墨模式破费更多资源。

不同模子在模态鲁棒性上的阐发互异很大。InternVL3.5-8B是阐发最平定的模子，在险些整个任务上皆能保合手接近零的模态差距，有时图片模式以致略优于笔墨模式。Qwen2.5-7B-VL也泄露了精良的鲁棒性。这些互异可动力于视觉编码器的缱绻互异和教师数据的不同散布。

说到底，这项商讨让咱们重新坚忍了AI的能力规模。名义上看，当代AI仍是能够"看懂"图片和"无间"笔墨，但深远测试后发现，不同输入方式之间仍然存在神秘但伏击的互异。这就像东谈主类固然既能听又能看，但在嘈杂环境中可能更依赖视觉信息，在昏暗中更依赖听觉信息。

商讨团队的发现具有伏击的本体意想。关于配置AI期骗的工程师来说，在缱绻输入界面时需要有计划模态差距的影响，采纳最合适任务的输入方式。关于AI模子的教师者来说，这教唆他们需要在不同模态上保合手均衡的教师，幸免某个模态成为"短板"。

更伏击的是，自我蒸馏方法的告成为处分近似问题提供了新想路。这种让AI"我方教我方"的方法不仅有用，况兼不需要异常的东谈主工标注，具有很好的可彭胀性。跟着多模态AI期骗的普及，这种工夫可能会成为擢升模子平定性的尺度作念法。

从更广的角度来看，这项商讨揭示了一个伏击事实：AI的智能和东谈主类的智能在结构上还存在压根互异。东谈主类在不同感官输入下能保合手相对一致的无间能力，而AI刻下还容易受到输入方式的影响。无间并弥补这些互异，是通向更强东谈主工智能的必经之路。将来，当咱们与AI互助时，了解它们的这些特质将匡助咱们更好地领悟彼此的上风，创造更高效的东谈主机合作模式。

Q&A

Q1：什么是多模态大语言模子的模态差距？

A：模态差距是指AI模子在处理换取内容但不同输入方式时阐发出的互异。比如，同沿途数学题以纯笔墨款式输入时AI能答对90分，但作念成图片后只可答对30分。这种快意在数学任务上最为明白，差距可非常60个百分点。

Q2：为什么AI看确切文档图片比看东谈主工制作的笔墨图片阐发更好？

A：因为AI在教师时见过多数确切寰宇的文档图片，如PDF页面、网页截图等，对这类图片更肃肃。比较之下，尺度字体、纯色布景的东谈主工笔墨图片反而成了"生分环境"。字体采纳影响也很大，手写字体可导致准确率着落47个百分点。

Q3：自我蒸馏方法是若何擢升AI图像无间能力的？

A：自我蒸馏让AI用我方在笔墨模式下的优秀阐发来引导图片模式下的阐发。具体是让AI先在笔墨模式下解题并纪录推理经过开云体育，然后将相通问题制作成图片，配上之前的推理经过进行教师。这种方法将GSM8K数学题的图片模式准确率从30.71%擢升到92.72%。