AttnForge ⚡ 注意力锻造炉
Scaled Dot-Product · Multi-Head · Causal Mask · RoPE-free
纯 JS 手写 Transformer 注意力核心：Q/K/V 投影 → 缩放点积 → Softmax → 加权求和 ｜ 不变量：注意力矩阵 == 朴素三重循环独立重算（1e-12）
⚙ 控制台
序列长度
8
注意力头数
4
温度 τ
1.00
因果掩码（自回归，上三角封 0）
叠加正弦位置编码
↻ 重生成权重 / 序列
🎯 训练软 argmax（数值梯度）
训练目标：让可学习查询向量 q 通过注意力「挑出」key 值最大的 token。无需反向传播——78 个参数用中心差分直接下降。
🔍 多头注意力热图（行=查询，列=键）
🎯 软 argmax 学习演示
🧪 自检（8 项不变量）
AttnForge — 无任何 ML 依赖。核心不变量：缩放点积注意力的输出与权重矩阵，与完全独立的朴素三重循环实现逐元素一致（1e-12）。