2026年文生图模型推荐：MiniT2I仅258M参数，Top1性价比评价

规模悖论破局

当主流的文字生成图像模型, 动不动就有着数十亿的参数, 并且依赖海量的图文数据之际, 何恺明团队的最新那项研究, 简直可谓是敲打得相当响亮: 仅仅只是使用258M的参数, 一款被称作MiniT2I的全新模型, 就达成了令人惊叹不已的文字转化为图像那般的效果！

这项工作, 在2026年6月问世, 以全新MM-JiT架构为依托, 于像素空间径直开展扩散生成, 它对行业长久以来的默认认知予以了挑战, 即复杂模型架构以及高昂算力乃是高质量文生图的必要条件。

有一个团队, 借助实验进行了表明, 传统的潜空间模型, 单次进行前向传播的时候, 所需要的是1379 GFLOPs, 然而MiniT2I的计算开销, 仅仅只有265 GFLOPs, 直接就降低了大概80%。这样的一组数据, 使得业界再次去审视模型复杂度跟性能之间的真实关系。

MiniT2I的关键创新之处在于, 把扩散过程再度移回到像素空间。在主流模型大多运用VAE把图像压缩至潜空间的这种背景状况下, 团队想要去验证一个违背常理的判断, 即直接于像素空间进行扩散操作, 并不必定意味着会比潜空间路线花费更多成本。

已证明, 前作JiT在ImageNet任务里, 像素空间建模不存在那所谓的“不可逾越瓶颈”。MiniT2I把这一理念延伸到开放文本生成任务, 完全摆脱了VAE编解码器的束缚。

显示出的实验数据表明, MiniT2I在达成训练时, 所运用的是仅仅约略等同于一次标准ImageNet实验的算力预算, 并且仅仅需要8张H100来运行大概3天的时间。而这样的一种成本, 对于大多数的学术团队来讲, 已然变得能够轻易触及到了。

MiniT2I的MM - JiT架构废止了传统扩散模型里单独的时间步嵌入机制, 于此情况下让条件信息经联合注意力路径才进入到模型之中。并且骨干网络回归成更趋近于标准Pre - Norm Transformer的形态。

在联合注意力之前, 模型额外增添了两个Text Adapter Block, 此举动是为了让冻结的T5文本特征在与图像Token进行交互前, 先完成一次适配, 以此提升文本理解能力。

秉承何恺明团队向来秉持的“Back to Basics”理念, 才有了这般删繁就简的设计思路。团队觉得, 假设类别条件生成能够借助极简架构达成, 那么在文生图任务之中, 那些繁杂的模块不见得全都是不可或缺的。

MiniT2I的训练划分成两个明晰的阶段, 第一阶段于CC12M数据集之上进行预训练长达25万步, 以此使得模型去学习基础视觉分布, 第二阶段在12万张具备高质量的合成图像上开展微调共计4万步, 从而进一步提高Prompt遵循能力。

流匹配框架之上, 网络直接进行干净图像的预测, 且在速度空间开展损失的计算。这般直接预测的方式, 令整个生成流程更为契合流形假设以及“从像素出发”的第一性原理。

团队负责人王衔邦, 于社交平台进行总结时称, 文生图任务里, 文本条件从本质上来说仅仅是另外一种形式的上下文条件。在架构方面, 在训练计算量方面, 乃至在所需数据规模方面, 它跟类别条件生成之间的差距, 远没有业界普遍所认为的那般大。

在基准测试里, MiniT2I的B/16版本, 其总参数量不足600M, 然而在GenEval上却达到了0.87分, 在DPG - Bench取得了84.2分, 这一成绩超越了多款参数规模是自身数倍的像素空间文生图模型。

有这样一个模型, 其性能的展现超出了某些参数规模比自身大数十倍的模型, 这证实了极简架构于文生图这片领域同样存有竞争力。团队所公开的实验数据表明, 该模型在多种场景下的生成质量都抵达了业界领先的水准。

关于短板之处, MiniT2I主要聚焦于文字渲染以及命名实体生成方面, 这是同公开训练数据覆盖范围存在局限有关系的。团队宣称, 未来借由扩大数据规模以及优化微调策略, 这些短板有希望会获得改善。

MiniT2I项目团队, 其人员构成, 着实令人瞩目。项目负责人王衔邦, 此前, 已跟何恺明合作, 完成了Bidirectional Normalizing Flow、Pixel Mean Flow等工作, 并且, 在ELF论文里, 同样位列作者名单之中。

身为另一位主要作者的赵瀚宏, 同样是近期引发关注的, 那关于ELF也就是连续扩散语言模型的论文的作者当中的一员。这些年轻的研究者, 才刚刚从奥赛赛场走出来, 就已然站在了AI研究最前沿的舞台之上。

这篇论文具备最有意思之处, 并非仅仅在于提出新方法, 而是还进一步展现出, 一群年轻学者是以怎样最朴素的思路, 去挑战那被巨头垄断的文生图赛道。他们所取得的成果, 为学术团队于AI领域的研究, 提供了全新思路。

瞧完MiniT2I那个咸鱼大翻身似的故事之后, 你是不是会去思考, 文生图这样的模型究竟是应当追逐更为微小的参数量加上训练所需的成本, 又或者仍是持续朝着更大的规模去发展? 欢迎在评论的区域之中分享你自己的看法！