飞桨AI训练技术再突破 发布端到端自适应大规模分布式训练技术

原标题:飞行螺旋桨AI训练技术再次突破，发布端到端自适应大规模分布式训练技术。

12月12日，由深度学习技术与应用国家工程实验室主办的WAVE SUMMIT+ 2021深度学习开发者峰会在上海举行。在本次峰会上，最让开发者惊叹的莫过于飞桨开源框架v2.2的重磅发布，百度深度学习技术平台部高级总监马、百度AI产品部总监辛舟分别就新版飞桨的特性和落地部署应用进行了详细讲解。框架核心技术持续领先，落地部署降低应用门槛。飞桨正在为解决AI落地行业提供新的答案。

实践融合创新，飞桨核心技术持续积累突破

在峰会上，马表示，飞桨作为国内首个自主研发、功能丰富、开源的工业级深度学习平台，不断积累和突破核心技术。新发布的开源框架2.2版本涉及深度学习开发、训练、文本任务极致优化、高效硬件适配、低门槛推理部署等多个方面的创新技术，为开发者赋能，为工业应用和前沿探索提供技术动力。

在开发方面，Feipaddle提供了丰富的API，支持开发者方便高效地开发深度学习模型。螺旋桨框架v2.2的API更丰富、更高效且保持良好的兼容性，有针对性地丰富了100多个API，可以支持更大范围的模型开发。特别是对于科学计算的模型应用，增加了傅立叶变换、雅可比/黑森/VJP/JVP等一系列API，支持量子计算、生命科学、计算流体力学、分子动力学等应用，助力前沿技术探索。

在训练方面，发布了全新的端到端自适应大规模分布式训练技术。将不同的模型和硬件抽象为统一的分布式计算视图和资源视图。通过硬件感知分段映射功能和端到端代价模型，找出模型分段和硬件组合的最优策略，并根据最优策略将模型参数、梯度和优化器状态分配给不同的计算卡，从而节省存储、平衡负载、提高训练性能。

基于全新的端到端自适应大规模分布式训练技术，百度飞桨在鹏城云脑II集群上采用自适应优化，优化前训练速度达到2.1倍。鹏城-百度文心近日发布的全球首个千亿级知识增强模型，也是基于端到端自适应大规模分布式训练技术。

文本任务，从文本处理、训练、解码到部署，都全面加速。升级string tensor的支持，为开发者提供端到端的文本任务开发体验。在预训练模型方面，将Transformer Encoder的网络结构优化到极致，通过用户自定义的算子函数，集成NVIDIA FasterTransformer的高性能算子。基于这些优化，框架为预训练模型形成了训练和推送的全流程开发体验，节省了94%的部署代码。

在硬件接入方面，多级低成本的硬件适配方案降低了框架与芯片之间的适配成本。【/s2/】百度开发了Kernel Primitive API、NNAdapter、编译器CINN(预发布)三种优化方案，分别通过软硬件深度融合，对AI算子库、图和编译器后端进行优化，大大降低了硬件适配成本，赋能硬件生态系统。

应用门槛不断降低，螺旋桨模型库和企业版全面升级[/s2/]

此次峰会除了领先发布飞桨深度学习框架技术外，还带来了工业开源模型库和企业版飞桨的全新升级。

马在会上表示，目前，百度飞桨正式支持400多个工业级开源算法模型，发布了13个PP系列模型，实现了精度与性能的平衡，彻底打通了推理部署工具链。

在螺旋桨行业应用能力全面升级的同时，螺旋桨企业版也在着力提升机型部署能力。会上，忻州带来了飞桨企业版车型的部署升级和飞桨EsayDL桌面版的全新发布。

飞动企业版包含EasyDL和BML双平台开发模式，致力于提升AI开发效率和资源利用效率。目前已成为应用最广泛的AI开发平台。模型部署的新升级基于飞行桨推理部署工具链，与平台深度融合，打造自动高效的企业级部署功能。

首先是全自动模型组合压缩，显著提高了推理性能。基于PaddleSlim，根据不同型号和硬件的特点，设计了多条全自动组合压缩管道，可以自动选择最佳压缩路径。对于普通车型，精度损失控制在1%以下，比加速度可达3-5倍。

其次，基于螺旋桨推理机，推理芯片被广泛采用。新版本采用螺旋桨推理机，与推理芯片广泛适配，性能优异。目前，该平台已经完成了9345型号芯片组合的真实测试和调优，与自适应相比，可以覆盖95%的需求场景，节省97%的开发时间。

最后，模型服务和智能边缘控制台大大提高了部署效率。特别是新发布的智能边缘控制台提供了全可视化的操作界面，显著提升了模型和业务集成的效率，模型部署时间从日级别缩短到5分钟。忻州演示了如何让机器狗在5分钟内学会手势识别新技能。

最后，飞桨EasyDL桌面版新发布。开发人员不需要繁琐地配置各种环境，只需在桌面上一键安装就可以实现本地高效建模。安装1分钟即可完成，模型开发15分钟即可完成。数据管理、计算能力调度和应用部署都可以在本地实现，让AI“触手可及”。

源于产业实践的百度飞桨行业级深度学习开源平台，是百度践行融合创新、降低行业发展门槛的AI生产平台。一代代飞桨的迭代更新，是中国人工智能产业一步步向上的攀登。AI推动中国工业繁荣，飞桨永远在路上。回搜狐多看看。

负责编辑: