这个项目从零开始使用 PyTorch 实现了 GPT-OSS-20B 架构。

寂静的雾雨

github.com/HamzaElshafie/gpt-oss-20B
这个项目从零开始使用 PyTorch 实现了 GPT-OSS-20B 架构。所有组件均为从头编写：包括用于上下文扩展的带 YaRN 和 NTK-by-parts 的 RoPE、RMSNorm、带截断和残差连接的 SwiGLU、混合专家模型（MoE）、采用分组查询注意力（GQA）优化的自注意力机制、可学习的 sink 节点、带状（滑动窗口）注意力，以及对 KV 缓存的支持。
该模型可在单块 A100 SXM（80GB）上运行。作者还撰写了详细的文档，解释每个组件背后的理论原理，并提供了设置和推理的使用说明。
#HOW I AI#