教学项目 Tiny-LLM:从零构建 LLM 推理引擎与 Coding Agent

[复制链接]
发表于 2 小时前 | 显示全部楼层 |阅读模式
教学项目 Tiny-LLM:从零构建 LLM 推理引擎与 Coding Agent

地址:github.com/skyzh/tiny-llm

教学目标是让系统工程师从底层理解并亲手实现大语言模型推理系统。
项目基于 Apple Silicon、MLX、Metal 和 Qwen3,逐步实现 Attention、矩阵计算、KV Cache 和推理调度等核心组件。
Tiny-LLM 强调从数学运算到 GPU Kernel,再到完整推理服务的工程实现过程。

目前还没有全部完工~

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部