kvcache-ai--ktransformers · github-featured/kvcache-ai--ktransformers · 项目文件夹

T

callmegaga

[feat](sycl): add opt-in Panther Lake XMX expert backend (#2250)

a694e718e84天前提交

.github

[docs]: add English Kimi K2.5 LoRA tutorial (#2211 )

上个月

一个用于体验尖端 LLM 推理/微调优化的灵活框架

🎯 概览 | 🚀 推理 | 🎓 SFT | 🔥 引用

🎯 概览

KTransformers 是一个专注于通过 CPU-GPU 异构计算实现大语言模型高效推理和微调的研究项目。目前两个面向用户的能力都来自 kt-kernel 源码目录：推理和 SFT。

🔥 更新

2026 年 10 月 8 日：公开 KTransformers-FineTune（KT-FT） 作者预印本，介绍通过布局优化与动态调度实现高效 MoE 异构协同微调的方法。论文与引用 · PDF。
2026 年 8 月 25 日：上传了全新的易用版 KTransformers × LlamaFactory MoE 微调 Cookbook，覆盖硬件检查、环境安装、BF16/FP8/INT8 配置、LoRA 与全量微调、资源规划及故障排查。
2026 年 8 月 17 日：LoRA 微调支持兼容 AVX512 的 x86 CPU，包括 AMD 服务器，无需依赖 AMX。（v0.7.0 Release Notes）
2026 年 8 月 5 日：新增原生 block-FP8 LoRA 微调，可直接加载 checkpoint 中的 FP8 Routed Expert 权重，无需生成完整的 BF16 权重副本。（PR #2141）
2026 年 7 月 23 日：新增面向 MoE 模型的端到端 BF16 全量微调，并支持保存完整 checkpoint。（PR #2094）
2026 年 4 月 30 日：KTransformers v0.6.1 更新 kt-kernel 推理和 SFT 文档，提供独立的推理和 SFT Quick Start入口。
2025 年 12 月 5 日：支持原生 Kimi-K2-Thinking 推理（教程）
2025 年 11 月 6 日：支持 Kimi-K2-Thinking 推理（教程）和微调（教程）
2025 年 11 月 4 日：KTransformers 微调 × LLaMA-Factory 集成（教程）
2025 年 10 月 27 日：支持昇腾 NPU（教程）
2025 年 10 月 10 日：集成到 SGLang（路线图，博客）
2025 年 9 月 11 日：支持 Qwen3-Next（教程）
2025 年 9 月 5 日：支持 Kimi-K2-0905（教程）
2025 年 7 月 26 日：支持 SmallThinker 和 GLM4-MoE（教程）
2025 年 7 月 11 日：支持 Kimi-K2（教程）
2025 年 6 月 30 日：支持 3 层（GPU-CPU-磁盘）前缀缓存复用
2025 年 5 月 14 日：支持 Intel Arc GPU（教程）
2025 年 4 月 29 日：支持 AMX-Int8、AMX-BF16 和 Qwen3MoE（教程）
2025 年 4 月 9 日：实验性支持 LLaMA 4 模型（教程）
2025 年 4 月 2 日：支持多并发（教程）
2025 年 3 月 15 日：支持 AMD GPU 上的 ROCm（教程）
2025 年 3 月 5 日：支持 unsloth 1.58/2.51 位权重和 IQ1_S/FP8 混合权重。在 24GB VRAM 中支持 DeepSeek-V3 和 R1 的 139K 更长上下文
2025 年 2 月 25 日：为 DeepSeek-V3 和 R1 支持 FP8 GPU 内核；更长上下文
2025 年 2 月 15 日：更长上下文（24GB VRAM 从 4K 到 8K）& 速度稍快（+15%，最高 16 Tokens/s），更新文档和在线手册
2025 年 2 月 10 日：支持 Deepseek-R1 和 V3 在单 GPU（24GB VRAM）/多 GPU 和 382GB DRAM 上运行，速度提升高达 3~28 倍。详细案例展示和复现教程请参见这里
2024 年 8 月 28 日：将 DeepseekV2 所需的 VRAM 从 21GB 降低到 11GB
2024 年 8 月 15 日：更新了关于注入和多 GPU 的详细教程
2024 年 8 月 14 日：支持 llamfile 作为线性后端
2024 年 8 月 12 日：支持多 GPU；支持新模型：mixtral 8*7B 和 8*22B；支持 GPU 上的 q2k、q3k、q5k 去量化
2024 年 8 月 9 日：支持 Windows 原生环境

📦 功能入口

🚀 推理 - kt-kernel 高性能推理

用于异构 LLM 推理的 CPU 优化内核操作。

主要特性：

AMX/AVX 加速：Intel AMX 和 AVX512/AVX2 优化的内核，用于 INT4/INT8 量化推理
MoE 优化：高效的专家混合推理，具有 NUMA 感知内存管理
量化支持：CPU 端 INT4/INT8 量化权重，GPU 端 GPTQ 支持
易于集成：为 SGLang 和其他框架提供简洁的 Python API

快速开始：

cd kt-kernel
pip install .

使用场景：

大型 MoE 模型的 CPU-GPU 混合推理
与 SGLang 集成用于生产服务
异构专家放置（热专家在 GPU 上，冷专家在 CPU 上）

性能示例：

模型	硬件配置	总吞吐量	输出吞吐量
DeepSeek-R1-0528 (FP8)	8×L20 GPU + Xeon Gold 6454S	227.85 tokens/s	87.58 tokens/s（8 路并发）

👉 完整文档 →

🎓 SFT - LlamaFactory 微调

研究论文： KTransformers-FineTune（KT-FT） · PDF。

KTransformers × LlamaFactory 集成，面向超大 MoE 模型微调。新的 Cookbook 提供从硬件检查、环境安装到 BF16/FP8/INT8 配置、LoRA/全量训练、资源规划和故障排查的易用流程。

支持 Kimi K2.5 / K2.6 LoRA 微调，保留 routed experts 的原生 RAWINT4 权重。参见 PyPI 安装、训练、续训与 SGLang 推理教程。端到端实机验证使用 Kimi K2.5；K2.6 沿用相同模型架构路径。

主要特性:

多后端支持: CPU/GPU 混合微调，支持 INT8/INT4 量化
超大 MoE 支持: 在有限 GPU 内存下微调 DeepSeek-V3/R1 等模型
相对 ZeRO-Offload 加速: 在基准 MoE SFT 任务中训练速度提升 6-12 倍
降低 CPU 内存: 相比上一版 KT SFT 路径，基准配置下 CPU 内存约降至 1/2
LlamaFactory 集成: 与流行微调框架无缝集成

模型	GPU 内存	训练速度	硬件
DeepSeek-V3	~80GB 总计	3.7 it/s	4x RTX 4090
DeepSeek-R1	~80GB 总计	3.7 it/s	4x RTX 4090
Qwen3-30B-A3B	~24GB 总计	8+ it/s	1x RTX 4090

快速开始:

cd /path/to/LLaMA-Factory
python -m pip install -e .
python -m pip install "ktransformers[sft]==0.7.0"
python -m pip install "sglang-kt==0.7.0"
CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
  --config_file examples/ktransformers/accelerate/fsdp2_kt_int8.yaml \
  src/train.py \
  examples/ktransformers/train_lora/qwen3_5moe_lora_sft_kt.yaml

👉 易用版微调 Cookbook → 👉 Quick Start → 👉 完整文档 →

🔥 引用

如果您在研究中使用了 KTransformers，请引用相应的论文。

推理论文

@inproceedings{10.1145/3731569.3764843,
  title = {KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models},
  author = {Chen, Hongtao and Xie, Weiyu and Zhang, Boxin and Tang, Jingqi and Wang, Jiahao and Dong, Jianwei and Chen, Shaoyuan and Yuan, Ziwei and Lin, Chen and Qiu, Chengyu and Zhu, Yuening and Ou, Qingliang and Liao, Jiaqi and Chen, Xianglin and Ai, Zhiyuan and Wu, Yongwei and Zhang, Mingxing},
  booktitle = {Proceedings of the ACM SIGOPS 31st Symposium on Operating Systems Principles},
  year = {2025}
}

微调论文

KTransformers-FineTune（KT-FT） · 完整 BibTeX

@misc{li2026ktft,
  title = {{KTransformers-FineTune: Beyond Offload with Layout-Aware and Schedule-Optimized Heterogeneous MoE Fine-Tuning}},
  author = {Li, Peilin and Hao, Xingxing and Chen, Hongtao and Xie, Weiyu and Zheng, Yaowei and Wu, Bowen and Yang, Yujie and Shen, Huanming and Ou, Qingliang and Zhang, Boxin and Tang, Jingqi and Yuan, Ziwei and Dong, Jianwei and Kuang, Dongdong and Feng, Zhangchi and Dai, Jiaheng and Yang, Qianrui and Chen, Shaoyuan and Wang, Jiahao and Han, Yaochen and Zhu, Yuening and Liao, Jiaqi and Chen, Xianglin and Ai, Zhiyuan and Wu, Yongwei and Zhang, Mingxing},
  year = {2026},
  note = {Author preprint, version paper-ktft-v1.1},
  howpublished = {Author preprint, GitHub},
  url = {https://github.com/kvcache-ai/ktransformers/tree/paper-ktft-v1.1/papers/kt-ft}
}

👥 贡献者与团队

由以下团队开发和维护：

清华大学 MADSys 实验室
Approaching.AI
社区贡献者

我们欢迎贡献！请随时提交问题和拉取请求。

💬 社区与支持

GitHub Issues：报告问题或请求功能
微信群：请参见 archive/WeChatGroup.png

📦 KT原仓库

原始的集成 KTransformers 框架已归档到 archive/ 目录以供参考。该项目现在围绕 kt-kernel 源码树中的上述两个能力入口组织文档和维护。

有关原始文档以及完整的快速入门指南和示例，请参见：

archive/README.md（英文）
archive/README_ZH.md（中文）