AoT

AoT

Atom of Thoughts (AoT) 是一种用于提升大语言模型推理性能的框架。

0
  • 支持多种推理场景,包括数学、多选题和多跳问答
  • 可作为插件与现有测试时扩展方法结合,提升性能
  • 通过原子状态表示,提高计算资源利用效率
  • 支持多种数据集和模型,如 gpt-4o-mini
  • 提供快速启动脚本,方便用户进行实验和测试
  • 支持生成收缩后的数据集,用于与其他框架结合
  • 开源代码,便于研究人员和开发者进行二次开发

产品详情

Atom of Thoughts (AoT) 是一种新型推理框架,通过将解决方案表示为原子问题的组合,将推理过程转化为马尔可夫过程。该框架通过分解和收缩机制,显著提升了大语言模型在推理任务上的性能,同时减少了计算资源的浪费。AoT 不仅可以作为独立的推理方法,还可以作为现有测试时扩展方法的插件,灵活结合不同方法的优势。该框架开源且基于 Python 实现,适合研究人员和开发者在自然语言处理和大语言模型领域进行实验和应用。