apps/FastDeploy
1
0
Fork 0
mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2026-04-23 17:11:21 +08:00
Code Issues Actions 23 Packages Projects Releases Wiki Activity

[Doc] Optimize build and install documents (#725)

Browse Source 
* optimize build documents

* optimize build documents

* optimize build documents

* optimize build documents

* optimize build documents

* optimize build documents

* optimize build documents
This commit is contained in:
Jason
2022-11-28 17:10:20 +08:00
committed by GitHub
parent d5a430d7ce
commit 623af3e90e
8 changed files with 130 additions and 42 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/cn/build_and_install/gpu.md
+19 -8
View File
@@ -1,16 +1,27 @@
# GPU部署库编译
FastDeploy当前在GPU环境支持Paddle Inference、ONNX Runtime和TensorRT，但同时在Linux&Windows的GPU环境也同时支持CPU硬件，因此编译时也可以同步将CPU的推理后端OpenVINO编译集成
## 编译选项
| 后端 | 平台 | 支持模型格式 | 说明 |
| :--- | :---- | :----------- | :--- |
| Paddle&nbsp;Inference | Windows(x64)<br>Linux(x64) | Paddle | 同时支持CPU/GPU，编译开关`ENABLE_PADDLE_BACKEND`为ON或OFF控制, 默认OFF |
| ONNX&nbsp;Runtime | Windows(x64)<br>Linux(x64/aarch64)<br>Mac(x86/arm64) | Paddle/ONNX | 同时支持CPU/GPU，编译开关`ENABLE_ORT_BACKEND`为ON或OFF控制，默认OFF |
| TensorRT | Windows(x64)<br>Linux(x64) | Paddle/ONNX | 仅支持GPU，编译开关`ENABLE_TRT_BACKEND`为ON或OFF控制，默认OFF |
| OpenVINO | Windows(x64)<br>Linux(x64) | Paddle/ONNX | 仅支持CPU，编译开关`ENABLE_OPENVINO_BACKEND`为ON或OFF控制，默认OFF |
无论是在何平台编译，编译时仅根据需求修改如下选项，勿修改其它参数
| 选项 | 支持平台 | 说明 |
|:------------------------|:------- | :--------------------------------------------------------------------------|
| WITH_GPU | Linux(x64)/Windows(x64) | 默认OFF，当编译支持Nvidia-GPU时，需设置为ON |
| ENABLE_ORT_BACKEND | Linux(x64/aarch64)/Windows(x64)/Mac OSX(arm64/x86) | 默认OFF, 是否编译集成ONNX Runtime后端 |
| ENABLE_PADDLE_BACKEND | Linux(x64)/Windows(x64) | 默认OFF，是否编译集成Paddle Inference后端 |
| ENABLE_TRT_BACKEND | Linux(x64)/Windows(x64) | 默认OFF，是否编译集成TensorRT后端 |
| ENABLE_OPENVINO_BACKEND | Linux(x64)/Windows(x64)/Mac OSX(x86) | 默认OFF，是否编译集成OpenVINO后端(仅支持CPU) |
| ENABLE_VISION | Linux(x64)/Windows(x64) | 默认OFF，是否编译集成视觉模型的部署模块 |
| ENABLE_TEXT | Linux(x64)/Windows(x64) | 默认OFF，是否编译集成文本NLP模型的部署模块 |
| CUDA_DIRECTORY | Linux(x64)/Windows(x64) | 默认/usr/local/cuda，要求CUDA>=11.2 |
| TRT_DIRECTORY | Linux(x64)/Windows(x64) | 默认为空，要求TensorRT>=8.4， 指定路径如/Download/TensorRT-8.5 |
注意编译GPU环境时，需额外指定`WITH_GPU`为ON，设定`CUDA_DIRECTORY`，如若需集成TensorRT，还需同时设定`TRT_DIRECTORY`
第三方库依赖指定（不设定如下参数，会自动下载预编译库）
| 选项 | 说明 |
| :---------------------- | :--------------------------------------------------------------------------------------------- |
| ORT_DIRECTORY | 当开启ONNX Runtime后端时，用于指定用户本地的ONNX Runtime库路径；如果不指定，编译过程会自动下载ONNX Runtime库 |
| OPENCV_DIRECTORY | 当ENABLE_VISION=ON时，用于指定用户本地的OpenCV库路径；如果不指定，编译过程会自动下载OpenCV库 |
| OPENVINO_DIRECTORY | 当开启OpenVINO后端时, 用于指定用户本地的OpenVINO库路径；如果不指定，编译过程会自动下载OpenVINO库 |
## C++ SDK编译安装