# 基准测试 - 飞桨大语言模型推理部署工具包

跳转至

English

# Benchmark

FastDeploy基于vLLM benchmark脚本，增加了部分统计信息，可用于benchmark FastDeploy更详细的性能指标。

## 测试数据集

以下数据集来源于开源数据集(源数据来源于HuggingFace Datasets)

数据集 | 说明
--- | ---
https://fastdeploy.bj.bcebos.com/eb_query/filtered_sharedgpt_2000_input_1136_output_200_fd.json | 开源数据集

## 测试方式

    cd FastDeploy/benchmarks
    python -m pip install -r requirements.txt

    # 启动服务
    python -m fastdeploy.entrypoints.openai.api_server \
           --model baidu/ERNIE-4.5-0.3B-Base-Paddle \
           --port 8188 \
           --tensor-parallel-size 1 \
           --max-model-len 8192

    # 压测服务
    python benchmark_serving.py \
      --backend openai-chat \
      --model baidu/ERNIE-4.5-0.3B-Base-Paddle \
      --endpoint /v1/chat/completions \
      --host 0.0.0.0 \
      --port 8188 \
      --dataset-name EBChat \
      --dataset-path ./filtered_sharedgpt_2000_input_1136_output_200_fd.json \
      --percentile-metrics ttft,tpot,itl,e2el,s_ttft,s_itl,s_e2el,s_decode,input_len,s_input_len,output_len \
      --metric-percentiles 80,95,99,99.9,99.95,99.99 \
      --num-prompts 1 \
      --max-concurrency 1 \
      --save-result