kevin ff47701f31 [BugFix][PD Disaggregation][KVCache] Fix low cache hit rate in PD split scenario (#7364) ...

## Motivation

在 PD 分离场景下，decode 节点在接收 prefill 节点转发的请求后，没有及时更新 cache block 的命中信息，
导致 prefix cache 命中率低，影响推理性能。

## Modifications

1. 在 `_free_blocks_when_stop` 方法中，额外排除 prefill 节点（`splitwise_role == "prefill"`）
   的 cache block 更新，避免 prefill 节点重复更新 cache 导致状态混乱。
2. 在 decode 节点分配请求（`_alloc_requests_with_cache`）成功后，主动调用
   `update_cache_blocks` 使用 `need_prefill_tokens` 更新 cache block 信息，
   确保 decode 节点能正确感知已命中的 prefix cache。

2026-04-14 16:15:43 +08:00

..

__init__.py

[Feature] Support block scheduler v1 for FD (#2928)

2025-07-23 20:31:31 +08:00

resource_manager_v1.py

[BugFix][PD Disaggregation][KVCache] Fix low cache hit rate in PD split scenario (#7364)

2026-04-14 16:15:43 +08:00

scheduler_metrics_logger.py

[Feature] console print metrics add env (#6413)

2026-02-10 09:37:11 +08:00