这项由密歇根大学的徐想翰、马子乔，纽约大学的谢赛宁、于星，以及普林斯顿大学的柴文浩、弗吉尼亚大学的陈绪威、金伟阳等商量者合营完成的商量，发表于2025年12月的arXiv预印本平台（论文编号：arXiv:2512.16922v1）。有兴致深入了解本领细节的读者不错通过这个编号查询完好论文。

往常几年里，东谈主工智能在解析图片方面获取了惊东谈主跳跃，但这种跳跃每每依赖复杂的历练方法。商量团队短暂领路到一个问题：为什么弗成像东谈主类学谈话那样，让机器通过浅易的"预测下一个"游戏来学会看懂图片呢？这个看似浅易的想法，却带来了一场视觉东谈主工智能规模的改换。

当咱们看一张图片时，大脑会天然地从一个区域出动到另一个区域，预测接下来会看到什么内容。商量团队受到这种融会历程的启发，配置了一种名为NEPA（Next-Embedding Predictive Autoregression，下一镶嵌预测自回想）的本领。这个本领的中枢想想就像教孩子认字一样浅易：给机器看图片的一部分，让它估量下一部分会是什么姿色。

所有这个词历程不错比作拼图游戏。当你拿到一盒拼图时，时常会先找边际部分，然后证据一经拼好的部分来预测下一块应该放在那里。NEPA本领亦然这么职责的：它把一张完好的图片切割成好多小块，就像把拼图分红多少片断，然后让机器按规则不雅察这些片断，每看到一派就预测下一派应该是什么姿色。

这种方法的奥妙之处在于，机器不需要从头构建整张图片的每个像素点，而是在一种叫作念"镶嵌空间"的轮廓层面进行预测。不错把镶嵌空间遐想成一个翻译器，它把复杂的图像信息转念成机器更容易解析的数字露出。就像咱们在心里态状一张图片时，会用"蓝色的太空"、"绿色的草地"这么的认识，而不是记着每个像素的果真心思值。

更令东谈主印象深远的是，NEPA本领只需要在ImageNet-1K这个包含一百多万张图片的数据集上进行历练，就能达到令东谈主舒畅的散伙。这就像一个学生只需要看过一百多万张图片，就能掌捏识别各式物体的才略。比较之下，以往的本领每每需要更复杂的历练历程，包括对比不同图片的相似性，或者试图重建图片的每个细节。

商量团队在实验中发现，使用NEPA本领历练的机器在ImageNet-1K图片分类任务上达到了83.8%的准确率（使用ViT-B模子）和85.3%的准确率（使用ViT-L模子）。这个收成与现在启程点进的方法异常，但历练历程却浅易得多。

为了考证这种本领的通用性，商量团队还在语义分割任务上测试了NEPA本领。语义分割就像给图片中的每个像素贴标签，比如这个像素属于"太空"，阿谁像素属于"汽车"。在ADE20K这个复杂的场景解析数据集上，NEPA本领一样进展出色，基础模子达到了48.3%的平均交并比，大型模子达到了54.0%。

NEPA本领的架构遐想也体现出从简之好意思。它接受轨范的Vision Transformer当作主干网罗，这是现在最奏效的图像管制架构之一。但与其他方法不同的是，NEPA不需要非凡的解码器或复杂的预测头，所有这个词系统就像一个精简的预测引擎。

在历练历程中，商量团队接受了一种叫作念"住手梯度"的手段。这就像在学习历程中给谜底加上一层保护膜，古老机器偷懒地径直复制谜底，而是信得过学会预测的才略。同期，他们使用因果掩码确保机器在预测下一个图片块时，只可看到之前的内容，弗成偷看背面的部分，这么才调信得过学会预测才略。

商量团队还在架构中融入了几个当代化的纠正手段。他们使用了旋转位置编码（RoPE）来匡助机器更好地解析图片中各个部分的空间关系，就像给拼图的每一块标注上它在整幅画中的相对位置。层级缩放（LayerScale）本领则像转变学习的方法，确保历练历程巩固进行。SwiGLU激活函数和查询键轨范化（QK-Norm）则进一步擢升了模子的性能和巩固性。

当机器经过NEPA本领历练后，商量团队发现了一个旨趣的风景：机器学会了像东谈主类一样顺心图片中的迫切区域。通过分析预防力求，他们发现机器在预测下一个图片块时，会自动将预防力麇集在语义关联的区域上。比如，当看到动物的头部时，机器会自动顺心体魄的其他部分；当看到建筑物的一角时，会顺心建筑的全体结构。

这种行为弥漫是机器自觉学习到的，莫得东谈主为遐想。这标明NEPA本领不仅大约识别图片，还能解析图片中对象之间的关系和全体结构。更旨趣的是，当商量团队分析机器预测的镶嵌向量时，发现这些向量在相似物体之间进展出高度相似性，在不关联物体之间则互异显然，这阐明机器信得过学会了轮廓的视觉认识。

从绸缪遵循角度来看，NEPA本领也进展出显然上风。传统的对比学习方法需要在每个历练纪律中管制大都的正负样本对，而掩码重建方法需要复杂的解码器来重建图片细节。比较之下，NEPA本领只需要一次前向传播，不需要非凡的解码器或复杂的采样计谋，这使得所有这个词历练历程愈加高效。

商量团队还发现，NEPA本领在不同范畴的模子上都进展出细致的推广性。跟着模子参数目的加多和历练时代的延伸，性能不竭擢升，莫得出现过拟合风景。这种细致的推广特色意味着，跟着绸缪资源的加多，NEPA本领有望达到更高的性能水平。

在试验足下中，经过NEPA预历练的模子不错很容易地适配到各式卑鄙任务。关于图像分类任务，只需要在模子输出层添加一个浅易的线性分类器。关于语义分割任务，不错联接轨范的UperNet解码器。这种活泼性使得NEPA本领大约平凡足下于各式绸缪机视觉任务。

值得预防的是，商量团队在微调阶段发现了一个旨趣的风景：天然NEPA是用因果预防力历练的（即只可看到前边的内容），但在微调时使用双向预防力（不错看到一皆内容）大约进一步擢升性能。这阐明自回想预历练学到的露出具有很好的泛化才略，大约适合不同的预防力形态。

现时的商量还揭示了NEPA本领的一些局限性。在线性探伤实验中，NEPA的进展不如一些专门遐想的露出学习方法。这是因为NEPA的输出露出相等接近原始的镶嵌层特征，主要的露出才略存储在预测器部分。这种遐想采选是有利为之的，因为它使得所有这个词系统愈加简易长入。

商量团队还分析了一些失败案例，发现NEPA本领在管制包含复杂反射、暗影和箝制的场景时仍有纠正空间。在多物体重迭的复杂场景中，模子未必会产生不一致的预测。这些问题反馈了现时历练数据集的局限性，也为未来的纠正指明了主义。

从更宏不雅的角度来看，NEPA本领代表了绸缪机视觉规模的一个迫切漂流。传统的方法每每专注于学习静态的视觉露出，而NEPA本领将要点转向学习预测模子自身。这种范式漂流与天然谈话管制规模的发展轨迹相呼应，谈话模子的奏效恰是基于这种生成式预历练的想想。

这种长入的预历练范式还示意着更宽敞的可能性。商量团队指出，当代大型谈话模子越来越多地接受绑定镶嵌的遐想，即输入和输出镶嵌矩阵分享参数。这种遐想实质上便是在镶嵌空间中进行下一个token预测，与NEPA的中枢想想弥漫一致。这意味着，不同模态的数据可能不错在长入的框架下进行历练，为多模态东谈主工智能的发伸开拓了新的谈路。

揣测未来，NEPA本领还具有向生成式建模推广的后劲。通过与合乎的图像解码器或扩散模子结合，并吞个自回想镶嵌预测器不错用于图像生成或剪辑任务。这种长入的架构大约在露出学习和生成建模之间架起桥梁，为构建愈加通用的视觉智能系统提供可能。

归根结底，NEPA本领的奏效讲明了一个迫切不雅点：未必候，最浅易的想法每每最灵验。通过回想到最基本的预测旨趣，商量团队创造出了一种既浅易又重大的视觉学习方法。这种方法不需要复杂的工程手段或者小巧的表面遐想，只是针织地师法了东谈主类视觉融会的基本历程。正如商量团队在论文中所说，他们提供的不单是是一个新算法，更是一种新的视角：自回想预测的简易性，当允洽地足下于视觉规模时，大约帮滋长入不同模态之间的预历练范式。这种长入性可能是东谈主工智能向更通用智能发展的要津一步。

Q&A

Q1：NEPA本领是若何职责的？

A：NEPA本领像拼图游戏一样职责，把图片切成小块，让机器按规则不雅察这些片断，每看到一派就预测下一派应该是什么姿色。机器不需要重建每个像素，而是在轮廓的"镶嵌空间"进行预测，就像咱们用认识态状图片而不是记着每个细节。

Q2：NEPA本领比其他图像识别方法有什么上风？

A：NEPA最大的上风是浅易高效。它只需要一次前向传播，不需要复杂的解码器或对比学习的负样本，历练历程比传统方法浅易得多。同期它在ImageNet分类上达到了83.8%到85.3%的准确率，与启程点进方法异常，但架构更简易。

Q3：NEPA本领能足下到哪些试验场景中？

A：NEPA本领不错平凡足下于各式绸缪机视觉任务。它一经在图像分类和语义分割任务上获取优秀进展，未来还可能推广到图像生成和剪辑规模。由于其简易的架构遐想，它不错很容易地适配到不同的足下场景中。