开源软件名称：

开源软件地址：

开源软件介绍：

MindSpore Serving

View English

• MindSpore Serving
  • 概述
  • 安装
    • 安装Serving
    • 配置环境变量
  • 快速入门
  • 文档
    • 开发者教程
  • 社区
    • 治理
    • 交流
  • 贡献
  • 版本说明
  • 许可证

概述

MindSpore Serving是一个轻量级、高性能的服务模块，旨在帮助MindSpore开发者在生产环境中高效部署在线推理服务。当用户使用MindSpore完成模型训练后，导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。

MindSpore Serving架构：

MindSpore Serving分为客户端、服务器两个部分。在客户端中，用户通过gRPC或RESTful接口向服务器下发推理服务命令。服务器包括主（Main）节点和一个或多个工作（Worker）节点，主节点管理所有的工作节点及其部署的模型信息，接受客户端的用户请求，并将请求分发给工作节点。每个工作节点部署了一个可服务对象，即Servable，这里的Servable可以是单个模型，也可以是多个模型的组合，一个Servable可以围绕相同的模型通过多种方法来提供不同的服务。

对于服务端，当以MindSpore作为推理后端时，MindSpore Serving当前支持Ascend 910/710/310和NvidiaGPU环境。当以MindSpore Lite作为推理后端时，MindSpore Serving当前支持Ascend 310、NvidiaGPU和CPU。客户端不依赖特定硬件平台。

MindSpore Serving提供以下功能：

• 支持客户端gRPC和RESTful接口。
• 支持组装模型的前处理和后处理。
• 支持batch功能，多实例请求会被拆分组合以满足模型batch size的需要。
• 提供客户端Python简易接口。
• 支持多模型组合，多模型组合和单模型场景使用相同的一套接口。
• 支持分布式模型推理功能。

安装

MindSpore Serving安装和配置可以参考MindSpore Serving安装页面。

快速入门

以一个简单的Add网络示例，演示MindSpore Serving如何使用。

文档

开发者教程

• 基于gRPC接口访问MindSpore Serving服务
• 基于RESTful接口访问MindSpore Serving服务
• 配置模型提供服务
• 配置多模型组合的服务
• 基于MindSpore Serving部署分布式推理服务

有关安装指南、教程和API的更多详细信息，请参阅用户文档。

社区

治理

查看MindSpore如何进行开放治理。

交流

• MindSpore Slack 开发者交流平台。

贡献

欢迎参与贡献。

版本说明

版本说明请参阅RELEASE。

许可证

Apache License 2.0