microforge
单文件 · 零依赖 · 可自检 · 可训练 · 可推理的微型 LLM 工程栈
v0.0 · 晨星
① 一键自检 · 11 条硬不变量
每条不变量都是「两条互不相干的路径必须产出同一结果」：反向传播↔中心差分、FlashAttn-2↔朴素注意力、GQA↔展开MHA、KV-cache↔全序列重算、Newton-Schulz↔半正交代数定义……
运行全部不变量
仅快速(3项)
② 浏览器内训练（纯 JS，CPU）
模型规模
Small (d48/4层)
Medium (d64/3层)
Large (d96/4层)
训练步数
序列长度 seqLen
批大小 batch
学习率 lr
BPE 合并数
开始训练
停止
重置语料为内置
点击「开始训练」——内置语料为原创英文科普散文；可在下方粘贴你自己的文本。
纵轴 = 交叉熵 loss；横轴 = 训练步。曲线单调下降即证明优化器与反向传播真的在驱动学习。
③ 语料（可编辑）
默认内置原创英文科普散文（无版权风险）。换成你自己的文本后点「开始训练」即可。
④ 文本生成（KV-cache + FlashAttention-2）
提示词 prompt
温度 temperature
top-k
生成长度
生成
需先训练模型
—
组件血统：RMSNorm (Zhang & Sennrich 2019) · RoPE (Su et al. 2021) · GQA (Ainslie et al. 2023) · SwiGLU (Shazeer 2020) · FlashAttention-2 (Dao 2024) · Muon+NS (Keller Jordan / Moonshot 2025) · Byte-level BPE (Sennrich 2016 / Radford 2019) · 权重绑定 (Press & Wolf 2017)
单文件零依赖 · 作者
晨星
· 完整源码与 11 条不变量自检见仓库