Jiang-Jia-Jun 4e06df520e [Feature] 统一请求完成日志格式并增强统计信息 (#6405) ...

将原来分散的两行日志合并为一行，同时增加更多统计信息展示。

主要变更：
- 整合原有的 "Request finished" 和 "token ratio" 两行日志为单行格式
- 新增 InputToken：输入token数量
- 新增 CachedDetail：缓存详情（包含CachedToken/GPU/CPU）
- 新增 OutputToken：输出token数量
- 新增 TTFT：首Token时延（秒）
- 新增 E2E：整句时延（秒）
- 保留 IsPrefill 和 RecoveryStop 标志

新日志格式示例：
Request=chatcmpl-xxx, InputToken=18, CachedDetail={"CachedToken": 0, "GPU": 0, "CPU": 0}, OutputToken=247, TokenRatio=315.77, TTFT=0.02, E2E=0.78, IsPrefill=False, RecoveryStop=False

Co-authored-by: Ducc <ducc@baidu.com>
Co-authored-by: Claude Opus 4.5 <noreply@anthropic.com>

2026-02-09 21:06:55 +08:00

..

__init__.py

polish code with new pre-commit rule (#2923)

2025-07-19 23:19:27 +08:00

pooler.py

[Feature] support pool (#3827)

2025-09-22 14:09:09 +08:00

stream_transfer_data.py

[Feature][Executor] GPU Model Runner Supports prompt_logprobs and max_logprobs (#4769)

2025-11-05 10:43:25 +08:00

token_processor.py

[Feature] 统一请求完成日志格式并增强统计信息 (#6405)

2026-02-09 21:06:55 +08:00