数据集
1 个数据集
热门分类：
SmallThinker-4BA0.6B-Instruct 是一个专为本地部署设计的高效语言模型，采用两层稀疏结构（细粒度混合专家与稀疏前馈网络），在降低计算需求的同时保持模型能力。该模型还引入了预注意力路由器和 NoPE-RoPE 混合稀疏注意力机制，以优化存储 I/O 和内存效率，在普通消费级 CPU 上即可实现每秒超过 20 个 token 的生成速度，内存占用仅约 1GB。模型主要面向英文文本生成任务，在多项基准测试中表现优于同规模的其他模型。