英伟达开源Nemotron-4 340B系列模型

来源:爱集微 #英伟达#
6809

6月15日,英伟达开源Nemotron-4 340B(3400亿参数)系列模型。据英伟达介绍,开发人员可使用该系列模型生成合成数据,用于训练大型语言模型(LLM),用于医疗保健、金融、制造、零售和其他行业的商业应用。

高质量的训练数据在自定义 LLM 的响应性能、准确性和质量中起着至关重要的作用 —— 但强大的数据集经常是昂贵且难以访问的。通过独特的开放模型许可,Nemotron-4 340B 为开发人员提供了一种免费、可扩展的方式来生成合成数据,从而帮助人们构建强大的 LLM。

Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token(文本单位)进行训练。Nemotron-4 340B-Base在常识推理任务,如ARC-c、MMLU和BBH基准测试中,可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。

英伟达表示,Nemotron-4 340B 现已可从 Hugging Face 下载。开发人员很快就能在 ai.nvidia.com 上访问这些模型,它们将被打包为 NVIDIA NIM 微服务,并带有可在任何地方部署的标准应用程序编程接口

责编: 邓文标
来源:爱集微 #英伟达#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...