[BUG] test_ppl.py run fail #58

版本
main分支

问题描述
硬件平台（NVIDIA A40，CUDA 12.6，Ubuntu 20.04）和软件环境（InfiniLM API部署，Python 3.10/3.12，transformers 4.55.4）
尝试使用官方PPL测试脚本（如InfiniLM test_ppl.py）对API（如 [http://localhost:8000/chat/completions）进行困惑度（PPL）评测时，API端点不支持logprobs参数，导致无法获取每个token的对数概率，PPL计算失败。]

如何复现:

1. 部署llama-2-7b-chat-hf模型服务，API端点为 /chat/completions
2. 使用官方PPL脚本（如InfiniLM test_ppl.py）配置API地址和模型名称
3. 运行脚本进行PPL评测
4. 观察到API响应中logprobs字段为null或不返回，脚本报错或PPL无法计算

预期结果
API端点应支持logprobs参数，返回每个token的logprobs信息，PPL脚本能够正常计算并输出困惑度指标。