跻身最强开源模型梯队!腾讯混元 Hy4 发布,燧原科技 Day 0 支持

来源:燧原科技 #燧原科技# #腾讯混元Hy4#
2178

11月4日,腾讯混元发布最新一代大语言模型 Hy4。随着模型能力的再次全面跃升,Hy 首次跻身最强开源模型之列。相比于 Hy4 preview,Hy4 在预训练和后训练上显著扩展了数据和训练规模,首次引入视觉理解能力,并大幅提升了指令遵循、长文理解、长程智能体等综合效果。

通过视觉理解、推理和工具调用能力,Hy4可以完成细粒度图像处理、复杂图表分析和数学视觉推理等任务。

得益于模型基础能力的全面提升,以及模型与产品的深度Co-Design,Hy4 解锁了更多真实生产力场景。

燧原科技已完成腾讯混元 Hy4 的适配。在模型优化层面,通过算子融合技术有效降低计算开销,并配套精细化显存优化方案,支撑更大参数量模型的加载与运行;同时结合通算并行能力,充分释放集群算力,提升整机与集群运行效率。

在资源调度层面,通过智能调度策略优化资源分配,持续提高集群资源利用率;采用高效互联传输机制,压缩跨卡、跨节点间的通信开销;同时构建多层级 KV Cache 存储体系,有效打破单卡显存容量瓶颈。

在此基础上,团队持续迭代缓存架构设计,充分发挥 PD 分离架构特性,保障推理服务各项 SLA 指标稳定可控,可支撑百万 token 超长上下文场景下高吞吐、稳定的推理业务,全面满足 Hy4 在真实落地场景中的业务交付要求。

Hy4 将于近期开源模型权重,发布模型系统卡片,并积极推进更负责任的开源,重点关注网络和生物安全等风险。

Hy4 flash 也将于近期发布。Hy4 flash 在继承 Hy4 能力的基础上,大幅减低任务成本,为用户提供极致性价比的模型。

责编: 爱集微
来源:燧原科技 #燧原科技# #腾讯混元Hy4#
THE END
关闭
加载

PDF 加载中...