8月23日消息，英伟达于8月21日发布博文，推出全新的Mistral-NeMo-Minitron 8B小型语言AI模型。該模型具備高精度與高效能的特點，能够在GPU加速的数据中心、云端以及工作站上运行。
上个月，英伟达与Mistral AI联合发布了开源的Mistral NeMo 12B模型，而此次推出的Mistral-NeMo-Minitron 8B则是在此基础上的缩小版本，拥有80亿参数。此模型能够在搭载英伟达RTX显卡的工作站上顺畅运行。
英伟达表示，Mistral-NeMo-Minitron 8B是通过对Mistral NeMo 12B模型进行宽度剪枝（width-pruning）以及知识蒸馏（knowledge distillation）后所得的结果。這項研究成果已發表於論文《Compact Language Models via Pruning and Knowledge Distillation》中。
剪枝技術通过移除对模型准确度贡献最小的权重来缩小神经网络规模，而在“蒸馏”過程中，研究团队在小型数据集上重新训练剪枝后的模型，以顯著提升因剪枝而可能降低的准确度。
在同类模型中，Mistral-NeMo-Minitron 8B在九项语言模型的主流基准测试中表现卓越。这些基准测试涵盖了多種任务，包括语言理解、常识推理、数学推理、摘要生成、编码以及生成真实答案的能力。
