Skip to content

应用使能

应用使能层位于全栈最上层,提供面向训练加速、推理部署、模型获取与开发工具的成套软件,帮助你把模型高效地落地为实际应用。本页先总览应用使能套件,再说明在本平台的用法。

1. 应用使能总览

围绕「训练 → 推理 → 部署」的全流程,昇腾提供了一系列上层套件:

套件定位用途
MindIE推理引擎高性能推理与部署(含 MindIE Torch)
MindSpeed训练加速套件大模型分布式训练加速
ModelZoo / 魔乐社区模型仓库与生态获取预训练模型与示例
MindStudio / MindX SDK开发工具开发、调试、性能分析与应用集成

这些套件都构建在 CANN 之上,最终运行于 昇腾 910

2. 在本平台中的应用闭环

对本平台的实习场景而言,应用使能层把前面学到的硬件、CANN、PyTorch 串成一个闭环:

数据  →  PyTorch 训练(可用 MindSpeed 加速)
      →  MindIE 推理 / 部署
      →  落地应用(如古蜀道识别)
  • 训练阶段:用 PyTorch 开发模型,大模型场景可借助 MindSpeed 提速。
  • 推理阶段:用 MindIE 把训练好的模型高性能地部署起来。
  • 模型与工具:从 ModelZoo 获取参考模型,用 MindStudio 做调试与性能分析。

3. 本章导航

页面内容
MindIE 推理引擎高性能推理引擎与 MindIE Torch
MindSpeed 训练加速大模型分布式训练加速套件
模型仓库与生态ModelZoo、魔乐社区
开发与应用工具MindStudio、MindX SDK

阅读路线

关注推理部署:看 MindIE。关注大模型训练:看 MindSpeed。找模型与工具:看 生态工具

参考资料