DiT-MoE

DiT-MoE

大规模参数扩散变换器模型

  • 提供PyTorch模型定义
  • 包含预训练权重
  • 支持训练和采样代码
  • 支持大规模参数扩展
  • 优化的推理能力
  • 提供专家路由分析工具
  • 包含合成数据生成脚本

产品详情

DiT-MoE是一个使用PyTorch实现的扩散变换器模型,能够扩展到160亿参数,与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术,具有重要的研究和应用价值。