数据集
1 个数据集
热门分类：
ZhejiangLab/Gengram
已完整同步
Gengram-10B 是一个为基因组基础模型设计的条件记忆模块，通过显式基序记忆检索增强基于 Transformer 的 DNA 序列建模。它采用哈希查找表存储和检索 k-mer（k=1-6），并引入 21 碱基对窗口机制以对齐 DNA 螺旋结构，在保持线性时间复杂度的同时提升计算效率。该模块兼容多种注意力机制（如 MHA、GQA、MLA），支持混合专家模型中的负载均衡，并具备生物可解释性：记忆嵌入呈现反向互补对称性，门控机制随功能区域变化，从浅层到深层形成层次化表示。