mirror of
https://github.com/PaddlePaddle/FastDeploy.git
synced 2026-04-23 17:11:21 +08:00
xiaolei373
24 lines
819 B
Markdown
24 lines
819 B
Markdown
# chat：对话式生成
|
|
`fastdeploy chat` 与正在运行的 API 服务器交互，生成对话。
|
|
|
|
## 参数
|
|
|参数|说明|默认值|
|
|
|-|-|-|
|
|
|--url|正在运行的 OpenAI-兼容 RESTful API 服务器的 URL|http://localhost:8000/v1|
|
|
|--model-name|提示完成中使用的模型名称，默认为列表模型 API 中的第一个模型|None|
|
|
|--api-key|用于 OpenAI 服务的 API 密钥，提供时会覆盖环境变量|None|
|
|
|--system-prompt|用于在 chat template 中指定 system prompt|None|
|
|
|-q, --quick|以 MESSAGE 形式发送单个提示并打印响应，然后退出|None|
|
|
|
|
## 示例
|
|
```
|
|
# 直接连接本地主机 API
|
|
fastdeploy chat
|
|
|
|
# 指定 API URL
|
|
fastdeploy chat --url http://{fastdeploy-serve-host}:{fastdeploy-serve-port}/v1
|
|
|
|
# 只需一个提示即可快速聊天
|
|
fastdeploy chat --quick "hi"
|
|
```
|