Codestral Mamba
一款专注于代码生成的高级语言模型
- 线性时间推理，快速响应长输入
- 理论上可以处理无限长度的序列
- 高级代码和推理能力，与SOTA Transformer模型相媲美
- 支持高达256k tokens的上下文检索能力
- 可使用mistral-inference SDK进行部署
- 支持TensorRT-LLM和llama.cpp进行本地推理
- Apache 2.0许可下免费使用、修改和分发
产品详情
Codestral Mamba是Mistral AI团队发布的专注于代码生成的语言模型，它基于Mamba2架构，拥有线性时间推理的优势和理论上无限序列建模的能力。该模型经过专业训练，具备高级代码和推理能力，能够与当前最先进的基于Transformer的模型相媲美。
