九游体育9GameSports中国官网 商汤SenseNova U1深度拆解, 原生和解架构拆伙缝合期间

裁剪｜杜伟

当 AI 行业的观点聚集在 Agent、器具调用、长程任务这些表层应用之时，底层的多模态架构正在履历一次更适意、也更透彻的范式改动 —— 它要陈说的是一个看似朴素的问题：通晓与生成，是否天生就该是两件事？

耐久以来，多模态系统大都是拼起来的 —— 感知与通晓、生成各自承担一部分能力，再把它们串起来跑。问题也很显然：通晓通过预教师视觉编码器（VE）完毕，生成依赖变分自编码器（VAE），两套系统的学习主张不同、默示空间各别，信息在不同模块之间往还传递，未免出现损耗、走样。这不仅仅工程上的顽劣，更是一种结构性截至，拒绝了实在原生多模态智能的形成。

最近的一系列使命开释出了全新的信号，不执着「将系统拼的更好」，转而从底层脱手，把图像、文本、视频以致动作放进归拢个默示空间去学习和对皆。商汤科技开源的新一代模子「日日新 SenseNova U1」恰是这一方朝上的聚集实践。

上个月，Google DeepMind 用一个通用模子 Vision Banana，阐扬了「生成即通晓」。SenseNova U1 基于行业创举的 NEO-Unify 原生和解架构，让多模态通晓、推理与生成在模子里面形成一条完好意思的链路，而非依靠外部模块拼接。

这次开源的轻量版 SenseNova U1 Lite 系列包含两个不同规格的模子：基于粘稠骨干收集的 SenseNova-U1-8B-MoT 和基于 MoE 骨干收集的 SenseNova-U1-A3B-MoT（总参数 38B，通晓生成激活参数各 3B）。

模子规格概览

模子在 Hugging Face 与 GitHub 开源后，在国际竖立者社区飞速激励筹画。在 X、Reddit 等平台，「全都去掉 VE 和 VAE 的和解架构」被视为近期多模态领域最值得关爱的工程实践之一；竖立者尤其关爱其在 8B 范围下能挑战更大生意闭源模子的图文生成与裁剪能力，以及全都开源（含代码、权重、时刻阐发）的计谋聘请。

就在日前，商汤科技放出了完好意思的时刻阐发：

时刻阐发：https://arxiv.org/abs/2605.12500

模子下载：https://huggingface.co/collections/sensenova/sensenova-u1

GitHub 代码仓库：https://github.com/OpenSenseNova/SenseNova-U1

记挂第一性旨趣

多模态从拼接走向耦合

言语与视觉并非异质信号，而是对归拢现实寰宇的不同编码 —— 这是 NEO-Unify 的起点，亦然商汤科技在假想 SenseNova U1 时所记挂的底层原则。

基于这一旨趣，NEO-Unify 让模子平直从接近原始形态的信息（像素与笔墨自身）中学习，在学习过程中形成和解的里面默示。通晓与生成不再被收场处理，而在归拢体系中和解建模。

下图为 SenseNova U1 模子及 NEO-Unify 架构概览：

为了完毕这一主张，NEO-Unify 需要同期措置以下三组主要矛盾，三者呈递进关联：从输入输出接口层的默示和解，到教师得当性的保险，再到通晓与生成参数层的协同。

矛盾一（接口层）：排斥模块割裂，打造近无损视觉接口。

传统模子依赖预教师的视觉编码器（如 CLIP）或解码器（如 VAE），这是语义通晓与像素生成之间存在自然默示鸿沟的根源。NEO-Unify 接受了 Encoder-free 假想：输入端打消预教师 VE，改用两层卷积加 GELU 激活将图像滚动为 token（每个 token 对应 32×32 像素块）；输出端雷同打消 VAE 解码器，平直用 MLP 忖度原始像素块。

这种反传统假想让模子领有了在「和解默示空间」自主学习的能力 —— 在提真金不怕火高层语义进行通晓的同期，精确保留局部纹理和笔墨边际以供生成。时刻阐发中的消融实考据实了这极少：NEO-unify（2B）在 MS COCO 2017 上的图像重建 PSNR 达 31.56、SSIM 达 0.85，接近 Flux VAE 的 32.65 和 0.91，确认近无损输入既能救济语义通晓，也能看护像素级精度，无需依赖任何预教师编码器。

矛盾二（教师层）：措置动态分辨率的信噪比失衡，完终身成得当性。

在多模态通晓与生成的和解架构中，模子需要处理从 256×256 到 2048×2048 的大跨度动态分辨率。传统扩散模子或 Flow Matching 往往基于固定噪声先验，当分辨率变化剧烈时，像素点数目级差异会导致模子在不同圭表下信噪比（SNR）不一致 —— 高分辨率下易结构崩坏或过饱胀，低分辨率下可能丢失细节。

NEO-Unify 的解法是引入分辨率自顺应噪声圭表：分辨率越高，生成的 token 数越多，噪声标准差就按正常根比例同步上调，从而使每个 token 在不同圭表下承受节略交流的噪声能量，保证 Flow Matching 过程中 SNR 分散的一致性。与此同期，这一自顺应圭表被编码后当作条目引入去噪器，让模子在濒临不同分辨率输入时长久保持一致的推理视角。

两者迷惑，保证模子在各式分辨率下生成愈加得当，幸免圭表切换带来的教师不敛迹和输出伪影。

矛盾三（参数层）：以原生 MoT 架构完毕「知识分享、专才专用」。

理衔命务需要从图像中索取语义，生成任务需要将语义滚动为像素 —— 二者主张不同，平直分享悉数参数会产生梯度烦闷。NEO-Unify 引入原生 Mixture-of-Transformers（MoT）架构：通晓流与生成流在底层分享自扎眼光高下文，但在具体的 Q/K/V/O 投影、归一化及 MLP 层进行全都参数解耦，每层凭证 token 类型动态路由。

这完毕了「知识分享、专才专用」—— 通晓与生成从互不干预走向协同股东，时刻阐发的消融实验显现，两种能力在 MoT 骨干中协同演化，OD体育世界杯中国官网首页本色冲突极小。

此外，为让一维言语序列与二维图像结构在归拢个 Transformer 架构下共存，NEO-Unify 引入了三维 RoPE 旋转位置编码（T/H/W 三轴各有独处频率基），从底层对皆言语规则和空间结构；接受羼杂扎眼光（Mask）模式，文本 token 走标准因果扎眼光，同块图像 token 之间双向关爱并保持对前置高下文的因果条目 —— 这在保证言语生成的逻辑连贯性，繁华了图像块之间空间一致性的需求。

通过一系列架构上的立异，SenseNova U1 告诉行业：实在的多模态智能不应仅仅给言语模子安上眼睛，要让模子从出身的第一天起，就用归拢套感官去领略和创造寰宇。

数据、训推三位一体

打造原生和解引擎

架构上的立异组成了 SenseNova U1 的假想中枢，而数据、教师与推理的深度协同相沿起了模子的高效运行。

教师数据：超 3.4 万亿 token 的全感官语料

SenseNova U1 在数据层面号称「全感官大脑」。其中预教师语料约 2.1 万亿 token—— 在同类开源和解模子中属顶量级 —— 涵盖图文对、图注、信息图通晓和纯文本，起头经过跨源去重、内容安全过滤、图像质料过滤和 CLIP 比率均衡重标注等。

中期教师阶段接受里面 SenseNova V6.5 数据集，阴私通用、Agent 与空间、知识推理和纯文本四大类，并通过三阶段探讨管说念确保质料：基于 CLIP 的万般性采样→教唆增强（从语义抒发、气象管束、变装场景、任务复杂度四维膨大）→多标准质料筛选（正确性、幻觉检测、指示履行三维评估）。

SFT 阶段进行了高强度指示微调教师，数据阴私空间智能、多模态通晓、推理等十个垂直领域。在通晓预热、生成预教师、中期教师与 SFT 四个教师阶段中，模子累计 token 数卓绝 3.4 万亿。

在生成和交错数据侧，语料涵盖视频、生存步地、信息图和推理四类，确保用视觉办法阴私的同期强化了东说念主物身份等一致性。一套「隐式 prompt→ 推理过程 → 显式视觉 prompt」教师经由， 将详细知识和逻辑滚动为可考据的画面。丰富数据的引入，让模子在处理相应任务时笔底生花。

教师过程：「先稳态、再耦合、再对皆、后加快」四步走

SenseNova U1 扬弃了传统意旨上的多任务羼杂，选定「渐进式能力演进」计谋，通过一套「先稳态、再耦合、再对皆、后加快」的能力栈，措置了大范围原生和解模子在多模态协同中的不得当性。

第一步，通晓预热（Warmup）：基于预教师 NEO 通晓模子进行扎眼光交融与全模子赓续教师，将 NEO 等分离的文本和图像 QK 投影整合为和解分享布局，复原扎眼光效果，构建 SenseNova U1 的语义骨干。

第二步，生成预教师：冻结通晓分支、专攻生因素支，让模子在 256 到 2048 的动态分辨率下掌持得当的图像生成与裁剪能力。

第三步，和解中期教师：两个分支同期激活，在通晓、生成及图文交错羼杂下端到端合资教师 84k 步，九游体育 - 九游9Game sports(中国)官网完毕模态间的深度耦合。

第四步，和解 SFT：在高质料指示履行数据上微调 9k 步，强化指示奴才能力，确保模子精确履行复杂多模态任务。

教师末端引入后期教师（Post-training）：运用 Flow-GRPO 机制，分两阶段进行强化学习。

此外，运用更正的分散匹配蒸馏（DMD2）时刻将生成步数从约 100 步蒸馏到 8 步，在保证生成质料的前提下，大幅普及从实验室模子到工业级落地的鸿沟。

推理系统：解耦部署，FlashAttention3 后端高吞吐

可以将 SenseNova U1 的推理系统想象成一个「复合大脑」，在对外保持和解接口的同期，对内完毕了 LightLLM（认真多模态通晓、文本流式输出和苦求转移）与 LightX2V（认真图像生成）的深度解耦。

这两个引擎通过锁页分享内存和优化输出内核来高效交换气象。解耦假想带来三方面实用上风：第一，允许通晓引擎使用面向大模子的张量并行（TP），生成引擎则接受 CFG 并行或序列并行；第二，救济独处资源分派，包括分开的 GPU 组、内存预算和批处理计谋；第三，使文本密集型和图像密集型流量简略独处膨大、分析与调优。

在关节优化上，该系统用到了羼杂扎眼光机制：纯文本部分走标准的因果 fast path，仅在处理包含图像 token 的块时才动态膨大 key range，按需分派计较量，大幅镌汰推理冗余支出。加上 FlashAttention3 后端的加快，在和解多模态 Prefill 阶段比传统 Triton 决策快。关于 2048×2048 图像生成，在 5090 和 L40S GPU 上的每步延伸永诀是 0.415 秒和 0.443 秒。这意味着，底层算子得到了进一措施优，复杂的推理和生成在履行部署中跑得很顺。

通盘看下来，SenseNova U1 在数据、教师与推理的深度协同中完成了一次工业级底层范式的「改动」：海量知识经过四阶能力栈精确滚动为跨模态通晓与生成能力，并依托算子级优化与解耦的推理系统，打形成高效适配各样商用场景的 AI 分娩力器具。

全维度试真金不怕火场

开源小模子新顶流来了

为考据原生和解架构 NEO-Unify 的成色， SenseNova U1 在阴私通晓、生成、裁剪、交错和智能体的任务上进行了全场所测试。终端可归纳为三个眉目：中枢突破性成绩、能力无损阐扬，以及交错 / 协同等膨大能力。

在拆解时刻细节之前，先看一个能直不雅感受 SenseNova U1 能力的案例。

模子先通晓「双城记」「生存反差」的 PPT 主题，在合适逻辑与一致性基础上，进行笔墨与对应画面的汇集输出。这背后是和解架构带来的「看懂 — 推理 — 生成」的完好意思链路。同期画面中华文笔墨密集、版式分区明晰、配图与图标完好意思。笔墨可以位、不糊字，这是昔时图像生成模子耐久跨不外去的痛点。

这偶合对应了接下来的评测数据。

中枢突破：通晓能力不因和解而退化，反超更大范围模子

在行业传统领略中，将生成能力整合进模子可能会因占用参数容量而导致通晓能力下落。SenseNova U1 的实战进展冲破了这一担忧。

在 MMMU、MMMU-Pro 和 MathVision 等高难度专科推理基准上，A3B-MoT 成绩永诀达到 80.55、72.83 和 79.63，在 MMMU 上超越了 Qwen 3.5-9B 整整 2.15 分，在 MMMU-Pro 上以 2.73 分的上风最初。在空间智能（VSI-Bench：56.9、ViewSpatial：58.52、MindCube-Tiny：70.86）上雷同显耀最初 Qwen 3-VL-30B-A3B 和 Gemma 4-26B-A4B 等同体量的模子。

收获于像素级建模能力，模子对眇小笔墨和复杂布局有了更强的主持，在文本密集图像和结构化视觉信息任务上也莫得因和解架构而出现能力退化：OCRBench 达 91.90 分、OCRBench-v2 达 68.64 分、MMBench-EN 达 91.59 分，均卓绝多个更大范围的竞品。

和解范式也莫得糟跶言语能力。在 MMLU-Pro（84.04）、IFEval（92.39）和 IFBench（79.79）等言语通晓与指示履行基准上，A3B-MoT 均处于开源最初水平 —— 尤其是 IFBench 比 Qwen 3.5 - 9B 高出 15.29 分。在 τ²-bench 评测中，总分得分 75.39， 阐扬其具备可以的长程交互与器具调用能力。

能力无损阐扬：生成任务雷同跑出 SOTA 成绩

既然通晓能力未受松开，生成侧的进展更令东说念主期待。终端雷同莫得令咱们失望。

在通用生成基准 GenEval 上，两款模子均以 0.91 的总分领跑开源阵营（Qwen-Image 为 0.87、BAGEL 为 0.82）；在 DPG-Bench 上，A3B-MoT 以 88.14 分参加顶尖开源模子行列，Global 分数更以 94.19 名次悉数对比模子第一，体现了在复杂教唆下弘大的全局语义经营能力。

笔墨渲染耐久是图像生成模子的软肋，多言语混排更是难中之难。SenseNova U1 在这一领域赢得了突破性成绩：在 LongText-Bench 中，8B-MoT 英文和华文得分永诀达到 0.979 和 0.962；CVTG-2K（多区域复随笔字）最好平均词汇准确率 0.940，位列开源第一；TIIF-Bench 合座得分 89.74，为悉数对譬如法最高。在中英文长文本与多区域笔墨渲染上达到开源 SOTA，竭力措置中英文混排、长文本排版等商用痛点。

在知识驱动图像生成基准 WISE（评测文化、时候、空间、生物、物理、化学等领域的寰宇知识运用能力）上，启用 CoT 后 A3B-MoT 以 0.81 的合座得分达到悉数对譬如法最好，与 GPT-Image-1（0.80）持平，远超无数开源模子 —— 原生和解架构不仅救济高质料生成，还能将知识通晓滚动为更准确的视觉输出。

膨大能力：复杂信息图、交错生成与协同效应一展无余

在讨论图文交错生成的 openING 测试中，A3B-MoT 迷惑 CoT 以 9.16 的合座得分超越 Nano Banana（8.85）、Wan-Weaver（8.67）和 GPT-4o+DALL-E3（8.20），凭借更强的内容完好意思性、图像质料、图文连贯性和跨才调逻辑一致性，在长序列、复杂情境任务中进展杰出。

在通晓与生成协同的 RealUnify 基准（考验通晓增强生成 UEG 和生成增强通晓 GEU 两个标的）上，8B-MoT 合座平均得分 52.4，最初悉数开源竞品（BAGEL 为 42.9、Ovis-U1 为 35.4），阐扬 SenseNova U1 能在复杂和解任务中实在整合通晓与生成能力，而不是浅陋将两种能力放在归拢骨干中。

生意视觉内容基准 BizGenEval 中，SenseNova U1 在布局、属性、笔墨渲染和知识准确性多个维度均显耀最初主流开源模子，原生和解架构在高复杂度专科视觉内容生成上展现出显耀后劲。

裁剪能力雷同杰出，模子在 GEdit-Bench（7.47/7.32）与 ImgEdit（3.90/3.91）等主流榜单上进展端庄，全面阴私了物体添加、局部替换、作风转移、配景变更等常见操作。

值得一提的是推理驱动裁剪 —— 模子并不是盲目修图，笔墨渲染、因果、空间和逻辑等方面均需先通晓再修改。RISEBench 测试中，A3B-MoT 在开启 CoT 后以 30.0 的开源最优得分，远超 BAGEL（6.1）和 FLUX.1-Kontext-Dev（5.8），标明 SenseNova U1 的上风不仅在于履行裁剪，更在于裁剪前所需的通晓与推理能力。

一个个基准成绩的突破，是对 SenseNova U1 代表的「原生和解」范式可行性的有劲自证。

结语

SenseNova U1 的进展自然亮眼，但比野心更值得关爱的，是它所指向的时刻旅途。

多模态正在从昔时依赖模块拼接、渐渐对皆的工程想路，转向更一体化的原生建模。能力不靠单纯拼接而来，驱动「长在沿途」。图像和言语不仅仅放在归拢个系统里使用，更在归拢条链路中被协同通晓与生成。昔时多模态主要措置的是「能不成用」的问题，当今陈说的是「能不成更接近东说念主类的使用步地」。

在原生和解架构渐渐纯熟的配景下，「以小搏大」将不再是偶发表象，而是模子假想玄学改动带来的势必终端。消融实验照旧标明，NEO-Unify 在数据膨大效果上显然优于同类方法 —— 以更少的教师 token 完毕更高的性能，这意味着跟着数据范围进一步扩大，这一架构的上风还将不绝放大。

下一个值得关爱的问题，是原生和解范式在视频、音频乃至具身动作等更多模态上的膨大畛域 —— 时刻阐发中已走漏了 VLA（视觉 - 言语 - 动作）和寰宇建模（WM）的初步实验，标的隐晦可见。从这个角度来看九游体育9GameSports中国官网，以 NEO-unify 为代表的原生和解架构探索，再行界说了多模态模子该怎样被构建、以及最终会走向那儿。