和解多模态大模子（U-MLLMs）渐渐成为相关热门，近期 GPT-4o，Gemini-2.0-flash 都展现出了超卓的通晓和生成才略，况且还能结束跨模态输入输出，比如图像 + 文本输入，生成图像或文本。

比拟传统的多模态模子（比如 GPT-4V 或 DALL · E 3），这类模子在职务适应性和活泼性上更具上风。然而，现时相关规模还存在几个隆起的问题：

1. 评测标准参差：不同相关选用的评测数据集与筹划各不疏通，使得模子之间难以公正比较；

2. 搀和模态生成才略衰退评测体系：例如，在图像中画扶助线解题、凭据推理恶果生成图像等案例天然很有代表性，但莫得和解的 benchmark 梗概全面测评这类才略。

这些问题严重搁置了 U-MLLMs 的发展和落地愚弄，因此进攻需要一个系统、标准的评测框架。

主要孝敬

MME-Unify（简称 MME-U）恰是为了科罚上述问题而提议的，具体孝敬如下：

初次提议和解评测框架：MME-U 是第一个涵盖"通晓"、"生成"与"和解任务（搀和模态生成）"的 benchmark，撑捏从不同维度系统性评估 U-MLLMs 的详细才略。

构建遮蔽平庸的任务体系：

从 12 个现存数据集会筛选整理，变成 10 大类任务，包含 30 个子任务

通晓类任务涵盖：单图感知、多图推理、视频通晓等；

生成类任务涵盖：文本生成图像、图像剪辑、图像转视频等。

和解评测标准：

将理除名务和解滑为多选题，使用准确率手脚评测筹划；

将生成任务的多种筹划标准化、归一化，输出和解分数，便于横向比较。

想象五类"和解任务"，考研模子对多模态信息的协同处理才略：

图像剪辑与讲明：

模子需通晓剪辑指示并履行；

知识问答生成图像：

模子需凭据问答内容生成妥贴图像；

扶助线任务：

条目模子画出解几何题所需的扶助线并解题；

找不同（SpotDiff）：

在两张图中找并画出各异；

视觉链式推理（Visual CoT）：

边推理边生成下一步图像恶果。

实测分析 12 个主流 U-MLLMs 表现：包括 Janus-Pro、EMU3、Gemini 2 等，发现它们在多项任务中各异显贵，尤其是在复杂生成任务和指示通晓方面仍有很大进步空间。

揭示了怒放模子与闭源模子之间的差距：闭源模子如 GPT-4o、Gemini 2.0 Flash 在生成质料与细节回话度方面致使优于一些专用生成模子（如 DALL · E-3）；而怒放模子的性能则尚显不及。

MME-Unify 不仅为和解多模态大模子的评估提供了缺失已久的标准化器具，也进一步鼓吹了这一主义从"炫技"向"实用"迈进，是现时 U-MLLMs 规模不成或缺的基准评测体系。

分为三个主要评测才略板块，涵盖数据构建、任务想象与评估战略，举座层次明晰、便于通晓。

MME-Unify 评测框架想象详解

本节先容 MME-Unify 的数据构建风景、任务标注经由以及和解的评测轨范。MME-U 将多模态和解模子才略分袂为三大类：

- 多模态通晓才略

- 多模态生成才略

- 和解任务才略

多模态通晓（Multimodal Understanding )

数据构建

通晓类任务凭据视觉输入类型分袂为三类：

- SIPU（单图感知与通晓）：评估图文对的通晓才略。

- MITIU（多图 / 图文交叉通晓）：评估模子处理多张图和轮换图文输入的才略。

- VPU（视频感知与通晓）：评估模子的视频通晓才略。

共网罗 1900 个样本，遮蔽 OCR、图表通晓、空间感知、属性 / 行为推理等 24 种任务，其中感知类任务 1600 条，推理类任务 300 条，每类子任务不少于 50 对 QA 样本。

QA 标准化滚动

为和解评估标准，通盘通晓类任务转为四选一多选题，插手项与正确选项语义接近；无法处理视频的模子则使用要津帧，单图模子取首图。

评估战略

领受规矩匹配法过滤谜底（如 MME-Realworld），独立时打乱选项法则以幸免位置偏差。最终以平均准确率评估通晓才略。

2.2 多模态生成（Multimodal Generation）

任务类型（6 类）

1. FIR：图像细节重建

2. TIE：文本率领图像剪辑

3. TIG：文本生成图像

4. CIVG：图像 + 文本生成视频

5. TVG：文本生成视频

6. VP：视频预料（预料后续帧）

每类任务不少于 200 个样本，数据源泉包括 COCO、MSR-VTT、Pexel 等。

数据标准化经由

- 属性和解：将 30 多种属性和解为 Text Prompt、Src Image、Ref Image、Video 等。

- 任务专属教导语：为每类生成任务想象 prompt 模板，并和解数据步地。

各任务先用专属筹划（如 CLIP-I、FID、FVD）评估；

再将通盘筹划标准化到 0 – 100 分数区间；

取标准化后的平中分手脚最终身成才略分数，结束跨任务可比性。

2.3 和解任务才略（Unify Capability）

MME-Unify 经心想象了5 类搀和模态和解任务，每类任务包括文本与图像双重输入输出，体现 U-MLLMs 的详细处理才略：

1. 知识问答生成图像（CSQ）

任务：凭据知识谜语类问题选出正确谜底并生成相应图像（如"国宝" → 熊猫）。

经由：GPT-4o 生成问题，东说念主工搜图，模子需同期答题并作图。

2. 图像剪辑与讲明（IEE）

任务：通晓复杂剪辑指示，生成修改图，并讲明修改内容。

构建风景：

文本选项由 GPT-4o 生成，图像插手项由 InstructPix2Pix 生成。

模子需先讲明修改内容（文本问答），再输出修改图（图像问答）。

3. 找不同任务（SpotDiff）

源泉：SpotDiff 网站

模子需识别图像对的不同区域，输出数量和定位图，考研空间缅念念和视觉推理才略。

4. 几何题扶助线任务（Auxiliary Lines）

源泉：Geometry3K

模子需在图上画出解题扶助线，并作答（含逻辑和视觉两部分），考研推理 + 生成整合才略。

5. 视觉链式推理（Visual CoT）

任务：通过迟缓生成导航动作、坐标和迷宫图像来走迷宫，模拟实际中的多步视觉有斟酌过程。

每一步包括动作、坐标和图像输出，后续法子包含历史信息，结束迟缓 reasoning。

和解任务评估战略

文本部分：

用 CLIP-T 一样度判断模子生成讲明与正确选项的接近进程；或获胜选定选项。

图像部分：

用 CLIP-I 筹备生成图与选项图像的一样度，选出最高者。

acc 与 acc+：

acc：文本准确率与图像准确率的平均值；

acc+：文本和图像都答对的样本占比；

关于 Visual CoT，则分别统计动作、坐标、图像的 acc，再取平均。

最终，MME-U 总得分为通晓分 + 生身分 + 和解任务分的平均值，组成系统的、全面的模子评估体系。

真理真理的实验发现追思

本文对多模态大模子（MLLMs）和和解多模态大模子（U-MLLMs）进行了系统性评测，整个涵盖了 22 个主流模子。相关要点集会在三个维度：通晓才略（Understanding）、生成才略（Generation）以及和解才略（Unify Capability）。评估领受 MME-U 评分体系，并包含多个细粒度子任务。以下为实验中的要津发现与亮点追思：

通晓才略方面

表现最强的模子

是闭源的  Gemini2.0-flash-exp，在通盘通晓类任务中遥遥当先。

开源阵营中表现最佳的是 Janus-Flow 与 Janus-Pro

，它们领受了两个孤苦的视觉编码器，分别用于通晓与生成任务，收效逃避了如 VQGAN 等通用 tokenizer 在图像通晓上的局限。

领受单一 tokenizer 的模子（如 Emu3、Show-o）在理除名务上表现渊博较差

，即便模子体量绝顶，也难以达到 Janus 系列的水准。

MIO-Instruct 展现了强大的通晓才略

，其背后是海量多模态数据（包含图像、视频、音频）与复杂三阶段素养经由的撑捏，强调了数据各样性在理除名务中的首要性。

生成才略方面

在图像生成任务中，U-MLLMs 的表现与专注型生成模子的差距不如理除名务那么大。

例如来说，Gemini2.0-flash-exp 在 Text-to-Image 任务中致使跨越了 DALL · E 3 六个点，展现出强大的生成后劲。

巨额 U-MLLMs（如 EMU3、HermersFlow、GILL）在图像生成任务的平均得分均高于 48，流露基础图像生成已具一定可用性。

不外，在视频生成任务上依然短板。尽管如 Emu3 宣称具备视频生成才略，但由于衰退相应 checkpoint，暂时无法考证。

从图像细节回话的角度看，现时开源 U-MLLMs 与 DALL · E 等模子仍有显贵差距，尤其是在特定文本细节（如 T 恤号码、布景口号等）上的回话。

和解才略方面（Unify Tasks）

和解任务对模子提议了更高条目——既要生成合理图像，又要完成对应文本推理。

现在，开源模子中表现最佳的 Anole 在简便任务上也仅有约 60% 的准确率

，在复杂和解任务上险些莫得模子跨越 30% 准确率。

在视觉链式推理（Visual CoT）任务中，无一模子梗概收效完成多步推理与图像生成联结的齐备经由。

分析流露，和解任务对模子的多模态交叉才略提议了极高条目，现在依然行业时刻瓶颈。

深远分析与趋势不雅察

现时模子在基础才略（通晓 / 生成）与和解才略之间渊博存在  "性能量度窘境"：

例如，MiniGPT-5、GILL、Anole 在和解任务想象上更激进，但罢休了基础通晓与生成才略，导致举座分数偏低。

而如MIO-Instruct 天然在基础才略上表现优秀，但在图文交错生成的和解任务中表现欠安。

这种表现各异教导：现存素养范式未能有用整合基础任务与跨模态任务的学习主义，可能需要重新想象对都战略或任务搀和素养经由。

追思

举座来看，U-MLLMs 天然展示了多模态和解任务的后劲，但距离本体可用仍有彰着距离。绝顶是在若何互助通晓与生成、单步与多步、图文协同等维度，仍存在诸多时刻挑战。MME-Unify 提供了一套系统性测评框架，并量化了主流模子的才略上限，为将来模子想象提供了明晰参照与主义率领。

名堂地址：

https://mme-unify.github.io

一键三连「点赞」「转发」「防范心」

接待在评述区留住你的念念法！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 名堂主页联结，以及关系风景哦

咱们会（尽量）实时回复你

� � 点亮星标 � �

科技前沿进展逐日见世博体育