腾讯混元Hy3 Preview开源:2950亿参数混合专家架构重塑长上下文推理范式

2026年4月23日,腾讯正式发布并开源混元Hy3 Preview大语言模型,这是腾讯首席AI科学家姚顺雨入职近四个月后交出的首份答卷,也是混元系列在完成预训练与强化学习基础设施重建后的首个里程碑成果。该模型采用快慢思考融合的混合专家(MoE)架构,总参数量达2950亿,激活参数仅210亿,在保持高效推理的同时,实现256K超长上下文支持,显著优于同期多数闭源模型的128K上限。其在复杂推理、指令遵循、上下文学习及智能体任务等核心维度全面超越前代Hy2,尤其在多跳逻辑链与跨文档事实核查任务中准确率提升23.6%。

Hy3的技术突破直指当前大模型落地的核心瓶颈:长文本理解失焦与实时响应延迟。传统稠密模型在扩展上下文时面临KV缓存爆炸式增长,而Hy3通过动态路由+稀疏激活机制,将关键信息压缩至高频专家子网,使256K上下文推理延迟控制在毫秒级。更关键的是,其开源策略极具战略纵深——不仅释放模型权重与训练代码,还同步公开了针对国产芯片(寒武纪MLU370、华为昇腾910B)的量化适配工具链,已获寒武纪官方完成全栈验证。

此举将加速国产AI生态从‘可用’迈向‘好用’。教育、法律、医疗等垂直领域亟需长文档分析能力,Hy3的开源将极大降低专业机构微调与私有化部署门槛。展望未来,随着更多厂商跟进开源长上下文模型(如DeepSeek-V4-Pro2.5延至5月31日发布),行业或将形成以‘256K+’为基准的下一代模型能力共识,并倒逼RAG、记忆增强等配套技术标准化。腾讯此举亦是对标Llama 3与Qwen2.5开源节奏的关键落子,中国大模型‘开源-商用-反馈’闭环正在加速成型。