
ExploreToM
大规模生成多样且具有挑战性的心理理论数据的框架
0
- 生成故事背景:使用story_context_generator.py脚本生成故事背景。
- 执行A*搜索:通过story_structure_searcher.py脚本执行A*搜索,以产生复杂的故事结构。
- 填充生成的故事:利用story_structure_infiller.py脚本填充生成的故事。
- 统计分析:通过compute_statistics.py脚本对生成的数据进行统计分析。
- 功能测试:运行tests_belief_tracker.py和tests_story_structure_infiller.py进行功能测试。
- 模型加载:使用VLLM(大型语言模型)加载和运行模型。
产品详情
ExploreToM是由Facebook Research开发的一个框架,旨在大规模生成多样化和具有挑战性的心理理论数据,用于强化大型语言模型(LLMs)的训练和评估。该框架利用A*搜索算法在自定义的领域特定语言上生成复杂的故事结构和新颖、多样化且合理的情景,以测试LLMs的极限。