PaddleFleetX旨在打造一套简单易用、性能领先、且功能强大的端到端大模型工具库,覆盖大模型环境部署、数据处理、预训练、微调、模型压缩、推理部署全流程,并支持语言、视觉、多模态等多个领域的前沿大模型算法。
简单易用
提供分布式策略的简易对接和灵活扩展功能
性能领先
利用自适应的分布式训练能力提供最高效的训练和推理支持
训压推一体
支持训压推结合的丰富小型化策略选择
多硬件支持
依托于飞桨核心框架,支持主流的训练推理硬件特别是国产硬件
NLP大模型
通过并行策略的灵活组合支持ERNIE开源版和GPT等大模型的训练,GPT性能领先竞品最高11%(6.7B模型)
生物计算大模型
支持并行策略的灵活扩展,创新分支并行,支撑HelixFold模型训练性能相比基线提升106.97%
视觉大模型
专家并行和分组切片等组合支持灵活的多任务和更大参数规模,高效支持UFO方案中的多任务协同学习技术
您有任何技术问题或对开源工具使用有建议,欢迎与PaddleFleetX官方团队进行交流
前往Github Issues
特色优势
简单易用
提供分布式策略的简易对接和灵活扩展功能
性能领先
利用自适应的分布式训练能力提供最高效的训练和推理支持
训压推一体
支持训压推结合的丰富小型化策略选择
多硬件支持
依托于飞桨核心框架,支持主流的训练推理硬件特别是国产硬件
应用场景
NLP大模型
通过并行策略的灵活组合支持ERNIE开源版和GPT等大模型的训练,GPT性能领先竞品最高11%(6.7B模型)
生物计算大模型
支持并行策略的灵活扩展,创新分支并行,支撑HelixFold模型训练性能相比基线提升106.97%
视觉大模型
专家并行和分组切片等组合支持灵活的多任务和更大参数规模,高效支持UFO方案中的多任务协同学习技术
使用咨询
您有任何技术问题或对开源工具使用有建议,欢迎与PaddleFleetX官方团队进行交流
前往Github Issues
合作与反馈
如果您想与飞桨开展业务合作或者对产品有使用建议,欢迎与我们联系,期待与您交流Paddle-better@baidu.com