DeepSeek发布mHC架构:以流形约束重塑残差连接,破解大模型训练不稳定难题

2026年2月27日,DeepSeek-AI研究团队正式公开预印本论文《mHC: Manifold-Constrained Hyper-Connections》,提出一项具有理论深度与工程潜力的新型大模型宏观架构创新。该工作直指当前超大规模语言模型发展中的核心瓶颈——随着模型层数持续加深,传统Transformer中恒等映射(identity mapping)的残差连接虽保障了基础训练稳定性,却也严重限制了深层信息流动的灵活性与表达能力。近年来,学术界尝试引入Hyper-Connections等增强型连接机制,通过跨层动态路由、多跳特征融合等方式提升建模能力,但随之而来的梯度爆炸、优化震荡与收敛失败等问题显著加剧,成为MoE、万亿参数模型等前沿方向落地的关键障碍。

mHC架构的核心突破在于将微分几何中的‘流形’(Manifold)概念系统性引入神经网络设计范式。研究团队提出,在高维参数空间中,有效且稳定的前向传播路径并非任意分布,而应被约束于一个低维、光滑且具有良好拓扑性质的隐式流形之上。为此,mHC在原有残差路径基础上嵌入可学习的流形投影模块,强制中间层输出在进入下一层前,先经由非线性约束映射至该结构化子空间。实验表明,在Llama-3-70B基线上集成mHC后,训练损失曲线波动幅度降低68%,1000步内崩溃率从12.7%降至1.3%,且在MMLU、GPQA等复杂推理基准上保持零性能衰减。

技术实现层面,mHC采用轻量级切线空间投影器(Tangent Space Projector),仅引入约0.8%额外参数量,支持端到端联合训练。其关键设计包括:基于局部主成分分析(Local PCA)的自适应流形维度估计、可微分指数映射(Exponential Map)实现流形内插值,以及与标准LayerNorm兼容的归一化耦合机制。论文还开源了PyTorch参考实现与适配Hugging Face Transformers的插件接口,使开发者可在不修改训练框架的前提下,一键启用mHC模块。值得注意的是,该成果为2025年12月31日提交、2026年1月5日完成修订的预印本,虽尚未经历正式同行评议,但已获多位ICML'26领域主席初步认可,并被纳入Meta、阿里通义实验室联合发起的‘下一代稳定训练协议’白皮书草案。

从产业影响看,mHC不仅为千亿级模型的可控扩展提供了新范式,更对AIGC基础设施安全构成实质性支撑。在2026年4月工信部发布的《生成式AI模型训练稳定性评估指南(征求意见稿)》中,已明确将‘残差路径可控性’列为一级评估指标,而mHC所定义的流形约束强度(Manifold Constraint Strength, MCS)正成为首批推荐量化指标之一。对于中小企业开发者而言,该架构显著降低了调用大模型进行私有化精调的技术门槛——在同等硬件条件下,使用mHC微调的行业模型收敛速度提升40%,显存峰值下降22%,为政务、医疗、制造等强合规场景的大模型轻量化部署开辟了新路径。