首次在统一框架内实现理解与生成的“双优表现”，打破了多模态统一建模的僵局！

复旦大学和美团的研究者们提出了UniToken——一种创新的统一视觉编码方案，在一个框架内兼顾了图文理解与图像生成任务，并在多个权威评测中取得了领先的性能表现。

UniToken通过融合连续和离散视觉表征，有效缓解了以往方法中“任务干扰”和“表示割裂”的问题，为多模态统一建模提供了新的范式。

为了便于社区内研究者们复现与进一步开发，UniToken团队已将代码与模型全部开源。

在传统图文理解或图像生成模型中，其视觉编码的底层特性差异较大。

譬如图文理解模型（如LLaVA、Qwen-VL等）要求从图像中抽取高层语义，从而进一步结合文本进行协同理解；而图像生成模型（如DALL-E、Stable Diffusion等）则要求保留充分的底层细节以高保真图像的生成。

由此，开发理解生成一体化的多模态大模型面临着以下几大难题：

视觉编码割裂：理解任务偏好具有高层语义的连续视觉特征（如CLIP），而生成任务依赖保留底层细节的离散视觉特征（如VQ-GAN编码的codebook）；

联合训练干扰：理解与生成任务差异而带来的冲突性使得在统一模型中训练时难以兼顾两个任务的性能，存在“一个优化，另一个退化”的现象。

为了应对上述挑战，领域内的相关工作通常采取两类范式：以VILA-U等为代表的工作通过结合图像重建与图文对比学习的训练目标，来提升离散视觉编码的语义丰富度；以Janus等为代表的工作通过为理解和生成任务分别定制相应的视觉编码器与预测头，来实现两个任务之间的解耦。

然而，前者在理解任务上目前依旧难以与连续视觉编码驱动的多模态大模型匹敌；后者则在应对更复杂的多模任务（例如多轮图像编辑等）时面临严重的上下文切换开销及单边信息缺失等问题。

不同于Janus的多任务解耦的设计思路，UniToken为所有下游任务均提供一套完备的视觉信息，促使多模态大模型以指令驱动的形式从中吸收相应的知识。

具体而言，UniToken采取统一的双边视觉编码器，其中将VQ-GAN的离散编码与SigLIP的连续表征以下述方式进行拼接，从而得到一套兼备高层语义与底层细节的视觉编码：

为了协调理解与生成任务的特性，UniToken采用三阶段训练流程：

基于Chameleon作为基座，本阶段旨在为LLM接入SigLIP的连续视觉编码。为此，在训练时冻结LLM，仅训练SigLIP ViT和Adapter，使其输出与语言空间对齐。

基于第一阶段对齐后的双边编码器所提供的完备视觉信息，本阶段在大规模图文理解与图像生成数据集上联合训练，通过控制数据配比（10M:10M）以均衡提升模型理解与生成任务的性能。

通过测试发现，第二阶段训练后的模型在指令跟随、布局图像生成等方面的表现均有待加强，故在本阶段进一步引入高质量多模态对话（423K）与精细化图像生成数据（100K），进一步增强模型对复杂指令的跟随能力。

得益于保存了双边视觉编码的完备性，UniToken可无缝衔接现有的细粒度视觉增强技术。

AnyRes ：将高分辨率图像划分为多个子图，分别提取特征后进行相应空间位置的拼接，以提升对图像的细粒度感知；

ViT端到端微调：在模型的全训练流程中，动态微调连续视觉编码器的权重，结合精细的学习率控制策略以避免模型崩溃，进而适应广泛的任务场景。

在多个主流多模态基准（图文理解+图像生成）上，UniToken均取得了媲美甚至领先于领域内专用模型的性能：

与此同时，研究者们对于训练策略及视觉编码的影响进行了进一步深入的消融分析：

从发展趋势上来看，目前图文理解模型在通用性上远远领先于图像生成模型。

而Gemini-2.0-Flash与GPT-4o在指令跟随的图像生成方面的惊艳表现，带来了通用图像生成模型未来的曙光。

在这样的时代背景下，UniToken仅是初步的尝试，而其信息完备的特性也为进一步挖掘其更深层次的潜力提供了更多信心：

模型规模扩展：借助更大的语言模型，进一步探索统一模型在理解与生成上的“涌现能力”；

数据规模扩展：引入更大规模的训练数据（如Janus-Pro使用的近2亿样本），推动模型性能极限；

任务类型扩展：从传统的理解与生成拓展至图像编辑、故事生成等图文交错的任务，追逐通用生成能力的上限。

论文链接： https://arxiv.org/pdf/2504.04423 代码地址： https://github.com/SxJyJay/UniToken

Makiyo不爽王心凌潘玮柏力挺杨丞琳

「活动」kumadaibiaotitest

4.57MB

版本V2.7.39

下载APK 高速下载

下载芙宁娜被❌喷水自慰爽安装你想要的应用更方便更快捷发现更多

56%好评(24755人)

详细信息

软件大小: 25479.93283MB
最后更新: 2025/05/01 19:22:53
最新版本: V9.84367.9
文件格式: apk
应用分类:ios-Android 胡桃3D同人18❌
使用语言: 中文
: 需要联网
系统要求: 8.79689以上

应用介绍

一，体育生白袜出精🔞网站，美女扒开腿㊙️让人桶爽中国
二，日漫美女露出🐻让男生揉，班长🌿我～慢点～好爽好漫画
三，国产抢精品❌❌❌❌，91国色窝窝㊙️路口蝌蚪
四，免费看大胸女㊙️视频巨乳，约尔被❌吸乳视频
五，Free♥XXX♥hinata，fuck❌❌❌carton
六，神里绫华同人❌av黄漫网站,小舞脱了内裤打开腿给人❌作文，甘雨撕开内衣👙吸奶头动漫
七，同性Gay🔞片
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V6.5.95

男女❌到爽🔞流蘑菇

🔞🍌进🍑里❌❌❌片tik(官方)

动漫人物被❌出白浆

02526.12MB

101好评

美女裸体隐私㊙️网站
女仆扒开腿㊙️配JK

美女的奶头㊙️免费网站

05226.91MB

547031好评

国产又爽❌又黄❌免费下载
成人黄漫画网站❌

男女被❌到爽🔞流漫画图片

13.74MB

318好评

国产91♥️丝袜在线熟
小🐤🐤戳进🍑高潮

美女脱👙免费

53.44MB

271好评

美女被扒开腿坐做❌动漫
女子又爽❌又黄❌动漫中文

美女露出🐻让男生揉无遮挡

71.66MB

706好评

祼体爆乳羞羞❌网站视频
国外精品18🈲高潮网站

曰本美女的㊙️免费网站

83.71MB

337好评

XXXX78🍆🍆HD泡妞
91在线精品无码㊙️影视

初高中打屁股被❤️网站❌

23.40MB

107好评

99🔞高潮片免费漫画
欧美⭕⭕⭕⭕XXXX免费虐

国产嫍妇❌❌❌❌視频

50.62MB

928好评

扒腿吃奶18禁🈲️日本
雏田爆乳被🔞㊙

男人私㊙️Gay网站的带扩张

83.09MB

564好评

女人自慰疯狂❌动漫
原神涩涩同人3D❌18禁水神

把jiji❌进女班长屁屁的游戏

83.01MB

751好评

欧洲无码成人🔞电影失踪软
好莱坞女明星裸体㊙️网站

女被❌c🐻扒衣服种草莓小说

11.83MB

1787好评

做受❌❌❌高潮指法
卡芙卡裸体被❌涩涩图片

免费无遮挡🔞视频日韩

39.89MB

692好评

云韵同人18❌AV黄漫网站
绝区艾莲可被爆❌黄漫

美女的隐私㊙️视频播放免费

65.07MB

743好评

男GaYGAYS✅免费自慰推荐
人妻做❤️㊙️一区二区夜晚必看

动漫被c到爽🔞巨乳在线视频

54.79MB

759好评

麻豆㊙️在场观看国产
女性被异性狂揉下面❌

高清乱码🔞❌♋一起草网站

57.60MB

687好评

动漫同性❌吸乳舌吻羞羞
小萝裸乳🔞🈲🈚码🈚遮成人游戏

19➕精品➕爽➕国产冫

24.15MB

352好评

亚洲AV㊙️无码一区桃乃
男女无套✅小视频

裸体爆乳羞羞❌网站视频XXX

13.80MB

312好评

免费🔞成人❌❌用黄上黄两年
裸身梅花十三❌羞羞漫画

裸体❌美女漫画入口

84.94MB

215好评

女人脱个精光㊙️ 动漫
猛男GayGay✅✅自慰

男男成人游戏18㊙️游戏网址

45.72MB

732好评

巨胸美女下裸❌羞羞漫画91
海梦喜多川被五条❌黄漫av

妮露被❌吸乳脱内内

10.56MB

182好评

动漫美女裸体❌❌视网站
🔞🍌进🍑里❌❌❌片暗

丝袜美女大胸被❌

44.71MB

363好评

一起🌿免费视频
成人㊙️免费网天涯

㊙️黄漫免费漫画入口

91.05MB

203好评

纲手隐私㊙️脱裤子
扒开小樱❌狂揉❌难受

直男体育生打✈️GAY2024

30.41MB

906好评

男男c🔞黄㊙️❌A站魔菇视频
动漫🚫18涩涩无遮挡\

doi🔞在线观看免费视频

30.64MB

548好评

JAV HD Online熟女 ✅
女教师用🐻夹我的🍌在线看

美女让自己的㊙️给男生桶

29.39MB

121好评

奇优影院❤手机在线
视频网站㊙️秘密入口

成人免费毛片❌❌❌播放

70.99MB

454好评

无尽❌裸体❌魅魔❌动漫视频
亚洲人做受❌❌❌高电影 title="18🈲在线" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

美女的隐私㊙️网站的身体

性❌乂乂乂少laolao

详情
雷电将军3d同人❌️羞羞 title="白丝校花🌸扒腿自慰漫画网站" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

雏田强❌乳喷自慰爽

雏田被鸣人❌❌黄

详情
3D同人♥♥2BHentai title="高跟91娇喘❌❌⭕⭕推特网站" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

露娜疯狂❌自慰爽网站小说

游戏王同人18❌AV黄漫网站

详情