
Mistral NeMo
最先进的12B模型,支持多语言应用
- 提供高达 128k 个令牌的大型上下文窗口
- 支持多种语言,包括但不限于英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语
- 使用 Tekken 分词器,提高文本和源代码的压缩效率
- 经过指令微调,提升遵循精确指令、推理、处理多轮对话和生成代码的能力
- 在不损失性能的情况下进行 FP8 推理
- 预训练的基础检查点和指令调整的检查点均在 Apache 2.0 许可证下发布
- 模型权重托管在 HuggingFace,支持 Mistral-inference 和 Mistral-finetune
产品详情
Mistral NeMo 是由 Mistral AI 与 NVIDIA 合作构建的 12B 模型,具有 128k 个令牌的大型上下文窗口。它在推理、世界知识和编码准确性方面处于领先地位。该模型专为全球多语言应用程序设计,支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等多种语言。Mistral NeMo 还使用了新的分词器 Tekken,提高了文本和源代码的压缩效率。此外,该模型经过指令微调,提升了遵循精确指令、推理、处理多轮对话和生成代码的能力。