Tags: #systems-design

一个 12 万行纯 C 写的 MoE 推理引擎,把 744B~2.8T 参数的前沿模型跑在消费级硬件:三层内存层级化、JIT 式权重调度、KV 缓存持久化、双 SSD 镜像与九模型族。