数据集
4 个数据集
热门分类：
LLaDA2.0-flash-preview 是一个基于扩散技术的语言模型，采用混合专家（MoE）架构，总参数量达1000亿，但推理时仅激活约61亿参数，显著降低了计算成本。它在代码生成、复杂数学推理以及工具调用等任务上表现突出，并在多个基准测试中展现出与同类开源模型相比更优的性能。该模型支持指令微调，适用于实际应用场景，未来还将通过强化学习进一步提升推理能力。
DeepSeek-V3.2-REAP-345B-A37B 是一个基于 DeepSeek-V3.2 高效压缩而来的稀疏混合专家（SMoE）语言模型。通过名为 REAP 的专家剪枝方法，模型在保留路由器对剩余专家独立控制的前提下，均匀剪除了 50% 的专家，参数量从 671B 压缩至 345B，每 token 仅激活 37B 参数。该模型在代码生成、数学推理、工具调用等任务上保持了近乎无损的性能，同时显著降低了内存占用和部署成本。它可直接兼容标准 vLLM 推理框架，无需额外修改，特别适合资源受限环境、本地部署及学术研究场景。
DeepSeek-V3.2-REAP-508B-A37B 是一个基于 DeepSeek-V3.2 压缩得到的稀疏混合专家语言模型。它通过 REAP（路由器加权专家激活剪枝）方法，均匀地剪除了 25% 的专家，将总参数量从 671B 压缩至 508B，而每次推理仅激活 37B 参数。该模型在代码生成、数学推理、函数调用等任务上几乎保持了与原版相同的性能，同时显著降低了内存占用和部署成本。它兼容 vLLM 等主流推理框架，无需额外修改即可直接使用，特别适合资源受限的环境和本地部署。
GLM-4.7-185B-W4A16 是一个经过 4 比特权重量化（W4A16）的混合专家（MoE）模型，基于 GLM-4.7-185B 压缩而来。模型总参数量为 1850 亿，采用 INT4 权重与 FP16 激活的格式，磁盘占用约 99 GB，适用于文本生成任务。该量化版本在保持模型能力的同时显著降低了存储和推理时的显存需求。