OLMo 2 13B
高性能的英文学术基准语言模型
0
- 支持高达4096的上下文长度，适用于长文本处理。
- 模型经过5万亿个token的训练，具有强大的语言理解和生成能力。
- 提供多种fine-tuning选项，包括SFT、DPO和PPO。
- 模型支持量化，以提高推理速度和降低资源消耗。
- 可通过HuggingFace的Transformers库轻松集成和使用。
- 模型在多个英文学术基准测试中表现优异，如ARC/C、HSwag、WinoG等。
产品详情
OLMo 2 13B是由Allen Institute for AI (Ai2)开发的一款基于Transformer的自回归语言模型，专注于英文学术基准测试。该模型在训练过程中使用了高达5万亿个token，展现出与同等规模的全开放模型相媲美或更优的性能，并在英语学术基准上与Meta和Mistral的开放权重模型竞争。OLMo 2 13B的发布包括所有代码、检查点、日志和相关的训练细节，旨在推动语言模型的科学研究。
