# 概述 - 飞桨大语言模型推理部署工具包

跳转至

# FastDeploy CLI 使用说明文档

## 简介

FastDeploy CLI 是 FastDeploy 推理框架提供的命令行工具，用于运行、部署和测试 AI 模型的推理任务。它帮助开发者在命令行中快速完成模型加载、接口调用、服务启动、性能评测以及环境信息收集等常见工作。

通过 FastDeploy CLI，您可以：

- 🚀 运行与验证模型推理：直接在命令行中进行对话生成或文本补全（`chat`、`complete`）
- 🧩 服务化部署模型：一键启动与 OpenAI 协议兼容的 API 服务（`serve`）
- 📊 执行性能与效果评测：进行延迟、吞吐、任务评估等基准测试（`bench`）
- ⚙️ 收集运行环境信息：输出系统、框架、GPU 及 FastDeploy 版本配置（`collect-env`）
- 📁 批量运行推理任务：支持文件或 URL 输入输出的批处理模式（`run-batch`）
- 🔡 管理模型的 Tokenizer：执行文本与 token 的编码、解码及词表导出（`tokenizer`）

### 查看帮助信息

    fastdeploy --help

### 可用命令

    fastdeploy {chat, complete, serve, bench, collect-env, run-batch, tokenizer}

命令名称 | 主要功能说明 | 详细说明链接
--- | --- | ---
`chat` | 在命令行中进行对话生成任务，用于验证聊天模型推理效果 | 查看 chat 命令说明
`complete` | 进行文本补全任务，支持多种语言模型输出测试 | 查看 complete 命令说明
`serve` | 启动与 OpenAI 协议兼容的本地推理服务 | 查看 serve 命令说明
`bench` | 对模型进行性能（延迟、吞吐）或精度评测 | 查看 bench 命令说明
`collect-env` | 收集并打印系统、GPU、依赖等运行环境信息 | 查看 collect-env 命令说明
`run-batch` | 批量执行推理任务，支持文件/URL输入输出 | 查看 run-batch 命令说明
`tokenizer` | 执行文本与 token 的编码、解码及词表导出 | 查看 tokenizer 命令说明