[Doc][Serving]modify serving doc (#718)

modify serving doc
2026-05-06 23:49:39 +08:00 · 2022-11-28 15:14:10 +08:00
parent 03947d7b37
commit dd18471b41
10 changed files with 136 additions and 110 deletions
@@ -1,5 +1,9 @@
 # ERNIE 3.0 服务化部署示例

+在服务化部署前，需确认
+
+- 1. 服务化镜像的软硬件环境要求和镜像拉取命令请参考[FastDeploy服务化部署](../../../../../serving/README_CN.md)
+
 ## 准备模型

 下载ERNIE 3.0的新闻分类模型、序列标注模型(如果有已训练好的模型，跳过此步骤):
@@ -43,14 +47,14 @@ models

 ## 拉取并运行镜像
 ```bash
-# CPU镜像, 仅支持Paddle/ONNX模型在CPU上进行服务化部署，支持的推理后端包括OpenVINO、Paddle Inference和ONNX Runtime
-docker pull paddlepaddle/fastdeploy:0.3.0-cpu-only-21.10
-
-# GPU 镜像, 支持Paddle/ONNX模型在GPU/CPU上进行服务化部署，支持的推理后端包括OpenVINO、TensorRT、Paddle Inference和ONNX Runtime
-docker pull paddlepaddle/fastdeploy:0.3.0-gpu-cuda11.4-trt8.4-21.10
+# x.y.z为镜像版本号，需参照serving文档替换为数字
+# GPU镜像
+docker pull paddlepaddle/fastdeploy:x.y.z-gpu-cuda11.4-trt8.4-21.10
+# CPU镜像
+docker pull paddlepaddle/fastdeploy:z.y.z-cpu-only-21.10

 # 运行
-docker run  -it --net=host --name fastdeploy_server --shm-size="1g" -v /path/serving/models:/models paddlepaddle/fastdeploy:0.3.0-cpu-only-21.10 bash
+docker run  -it --net=host --name fastdeploy_server --shm-size="1g" -v /path/serving/models:/models paddlepaddle/fastdeploy:0.6.0-cpu-only-21.10 bash
 ```

 ## 部署模型
@@ -63,7 +67,7 @@ token_cls_rpc_client.py   # 序列标注任务发送pipeline预测请求的脚
 ```

 *注意*:启动服务时，Server的每个python后端进程默认申请`64M`内存，默认启动的docker无法启动多个python后端节点。有两个解决方案：
- 1.启动容器时设置`shm-size`参数, 比如:`docker run  -it --net=host --name fastdeploy_server --shm-size="1g" -v /path/serving/models:/models paddlepaddle/fastdeploy:0.3.0-gpu-cuda11.4-trt8.4-21.10 bash`
+- 1.启动容器时设置`shm-size`参数, 比如:`docker run  -it --net=host --name fastdeploy_server --shm-size="1g" -v /path/serving/models:/models paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10 bash`
 - 2.启动服务时设置python后端的`shm-default-byte-size`参数, 设置python后端的默认内存为10M： `tritonserver --model-repository=/models --backend-config=python,shm-default-byte-size=10485760`

 ### 分类任务
@@ -1,5 +1,9 @@
 # UIE 服务化部署示例

+在服务化部署前，需确认
+
+- 1. 服务化镜像的软硬件环境要求和镜像拉取命令请参考[FastDeploy服务化部署](../../../../../serving/README_CN.md)
+
 ## 准备模型

 下载UIE-Base模型(如果有已训练好的模型，跳过此步骤):
@@ -26,11 +30,11 @@ models

 ## 拉取并运行镜像
 ```bash
-# CPU镜像, 仅支持Paddle/ONNX模型在CPU上进行服务化部署，支持的推理后端包括OpenVINO、Paddle Inference和ONNX Runtime
-docker pull paddlepaddle/fastdeploy:0.6.0-cpu-only-21.10
-
-# GPU 镜像, 支持Paddle/ONNX模型在GPU/CPU上进行服务化部署，支持的推理后端包括OpenVINO、TensorRT、Paddle Inference和ONNX Runtime
-docker pull paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10
+# x.y.z为镜像版本号，需参照serving文档替换为数字
+# GPU镜像
+docker pull paddlepaddle/fastdeploy:x.y.z-gpu-cuda11.4-trt8.4-21.10
+# CPU镜像
+docker pull paddlepaddle/fastdeploy:z.y.z-cpu-only-21.10

 # 运行容器.容器名字为 fd_serving, 并挂载当前目录为容器的 /uie_serving 目录
 docker run  -it --net=host --name fastdeploy_server --shm-size="1g" -v `pwd`/:/uie_serving paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10 bash
@@ -1,5 +1,10 @@
 # PaddleClas 服务化部署示例

+在服务化部署前，需确认
+
+- 1. 服务化镜像的软硬件环境要求和镜像拉取命令请参考[FastDeploy服务化部署](../../../../../serving/README_CN.md)
+
+
 ## 启动服务

 ```bash
@@ -19,11 +24,11 @@ mv ResNet50_vd_infer/inference_cls.yaml models/preprocess/1/inference_cls.yaml
 mv ResNet50_vd_infer/inference.pdmodel models/runtime/1/model.pdmodel
 mv ResNet50_vd_infer/inference.pdiparams models/runtime/1/model.pdiparams

-# 拉取fastdeploy镜像
+# 拉取fastdeploy镜像(x.y.z为镜像版本号，需参照serving文档替换为数字)
 # GPU镜像
-docker pull paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10
+docker pull paddlepaddle/fastdeploy:x.y.z-gpu-cuda11.4-trt8.4-21.10
 # CPU镜像
-docker pull paddlepaddle/fastdeploy:0.6.0-cpu-only-21.10
+docker pull paddlepaddle/fastdeploy:z.y.z-cpu-only-21.10

 # 运行容器.容器名字为 fd_serving, 并挂载当前目录为容器的 /serving 目录
 nvidia-docker run -it --net=host --name fd_serving -v `pwd`/:/serving paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10  bash
@@ -33,7 +38,7 @@ CUDA_VISIBLE_DEVICES=0 fastdeployserver --model-repository=/serving/models --bac
 ```
 >> **注意**:

->> 拉取其他硬件上的镜像请看[服务化部署主文档](../../../../../serving/README.md)
+>> 拉取其他硬件上的镜像请看[服务化部署主文档](../../../../../serving/README_CN.md)

 >> 执行fastdeployserver启动服务出现"Address already in use", 请使用`--grpc-port`指定端口号来启动服务，同时更改客户端示例中的请求端口号.

@@ -6,7 +6,7 @@ PaddleDetection模型导出和预训练模型下载请看[PaddleDetection模型

 在服务化部署前，需确认

- 1. 服务化镜像的软硬件环境要求和镜像拉取命令请参考[FastDeploy服务化部署](../../../../../serving/README.md)
+- 1. 服务化镜像的软硬件环境要求和镜像拉取命令请参考[FastDeploy服务化部署](../../../../../serving/README_CN.md)


 ## 启动服务
@@ -52,7 +52,7 @@ CUDA_VISIBLE_DEVICES=0 fastdeployserver --model-repository=/serving/models

 >> 由于mask_rcnn模型多一个输出，部署mask_rcnn需要将后处理目录(models/postprocess)中的mask_config.pbtxt重命名为config.pbtxt

->> 拉取镜像请看[服务化部署主文档](../../../../../serving/README.md)
+>> 拉取镜像请看[服务化部署主文档](../../../../../serving/README_CN.md)

 >> 执行fastdeployserver启动服务出现"Address already in use", 请使用`--grpc-port`指定grpc端口号来启动服务，同时更改客户端示例中的请求端口号.

@@ -1,5 +1,10 @@
 # YOLOv5 服务化部署示例

+在服务化部署前，需确认
+
+- 1. 服务化镜像的软硬件环境要求和镜像拉取命令请参考[FastDeploy服务化部署](../../../../../serving/README_CN.md)
+
+
 ## 启动服务

 ```bash
@@ -13,8 +18,11 @@ wget https://bj.bcebos.com/paddlehub/fastdeploy/yolov5s.onnx
 # 将模型放入 models/runtime/1目录下, 并重命名为model.onnx
 mv yolov5s.onnx models/runtime/1/model.onnx

-# 拉取fastdeploy镜像
-docker pull paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10
+# 拉取fastdeploy镜像(x.y.z为镜像版本号，需参照serving文档替换为数字)
+# GPU镜像
+docker pull paddlepaddle/fastdeploy:x.y.z-gpu-cuda11.4-trt8.4-21.10
+# CPU镜像
+docker pull paddlepaddle/fastdeploy:z.y.z-cpu-only-21.10

 # 运行容器.容器名字为 fd_serving, 并挂载当前目录为容器的 /yolov5_serving 目录
 nvidia-docker run -it --net=host --name fd_serving -v `pwd`/:/yolov5_serving paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10  bash