Expert Specialized Fine-Tuning
定制化大型语言模型的专业微调工具
- 安装依赖并下载必要的适配器以快速启动。
- 使用 eval.py 脚本来评估模型在不同数据集上的性能。
- 使用 get_expert_scores.py 脚本来计算每个专家基于评估数据集的分数。
- 使用 generate_expert_config.py 脚本来生成配置，以转换仅基于任务相关任务训练的 MoE 模型。
产品详情
Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。
