专注 LLM 推理引擎与 GPU/CPU 异构性能优化——既能把 MoE 热点以 task 粒度切到 CPU 侧算,也能把异构训练节点的进程级瓶颈收成可复现的自动化诊断报告。
| 方向 | 关键词 |
|---|---|
| LLM 推理 / AI Infra | SGLang · MoE CPU Offload · 快/慢 EPLB · CPU 虚拟专家 · CUDA / NV UVA · LLM 路由与成本策略 |
| GPU / 系统性能 | GPU 进程级采集 · NUMA / PCIe / GPU 拓扑 · TMA 微架构分析 · perf · eBPF · 性能剖析器开发 |
| Linux 系统软件 | 系统编程 · 非侵入式监控 · 多级自举与离线部署 · AST 白名单求值 |
| 算法 / 信号处理 | U-Net · 无监督学习 · 医学影像时序建模 · 信号采集与特征分析 · 故障诊断 |
在头部 LLM 开源项目中做可验证的协作,TypeScript / Python 双栈:
| 项目 | 贡献 | 语言 | 状态 |
|---|---|---|---|
| run-llama/llama_index | #22818 框架指南文档修复 | Python | ✅ 已合入主分支 |
| BerriAI/litellm | #38071 修复成本路由忽略 cache-read 单价 | Python | 🔵 评审中 · CI 76 项通过 |
| vercel/ai | #19247 · #19326 文档失效链接修复 | TypeScript | 🔵 评审中 |
代表作 — LiteLLM 成本路由修复: cost-based-routing 只按 input+output 单价排序、忽略 cache-read 单价。当两个 provider 输入输出价相同但 cache-read 价差 10 倍时,路由退化为"配置里谁靠前谁被选中",缓存密集场景成本最高可差约 10 倍。修复引入 cache-read 作次级排序键,并补参数化回归测试(修复前失败、修复后通过),通过类型纪律 / ruff-strict / basedpyright 三重预算门禁。
- 📧 960258807@qq.com
- 💬 微信:zlx19074942501