驱动AI栈的30个GitHub仓库：从智能体到本地推理

如果你在2026年进行AI开发，你可能已经用过了其中的一部分仓库。但除非你每天关注这个领域，否则有些对你来说会是新的。X平台开发者@DivyanshT91162发布的一个帖子总结了30个GitHub仓库，涵盖了整个AI开发栈，从智能体编排到向量搜索、本地推理，甚至是将这一切串联起来的后端胶水。

这份清单之所以有用，是因为它不仅仅罗列了那些常见的大牌。它既包含了重量级项目（LangChain、vLLM、Transformers），也包含了解决特定问题的新兴工具（Unsloth用于更快的微调、MLX用于Apple Silicon、Open WebUI作为自托管的ChatGPT替代方案）。总体而言，这个集合告诉你当前开源AI生态系统的状况：模块化、注重开发者体验，并且越来越优化以在消费级硬件上运行。

智能体框架与编排

清单中最大的一部分与智能体相关。LangChain和LangGraph在构建LLM驱动的工作流和有状态智能体方面处于领先地位。微软的AutoGen和CrewAI都处理多智能体协调，但方法不同：AutoGen侧重于对话模式，CrewAI侧重于基于角色的团队。OpenHands和Bolt.diy更进一步，旨在自动化整个软件工程工作流。n8n和Flowise提供了将AI集成到自动化流水线中的可视化界面，而Dify则提供了一个完整的应用平台，内置了RAG和模型管理。

LLM推理与本地部署

高效运行模型与构建智能体是不同的问题。vLLM是生产环境中高性能GPU推理的标准。Ollama将同样的便捷性带到了本地机器上：一个命令，你就可以在笔记本电脑上运行Llama、Qwen或Mistral。LiteLLM抽象了提供商API，使你可以通过一个接口在OpenAI、Anthropic和本地模型之间切换。Open WebUI将Ollama包装成一个类似ChatGPT的自托管界面，而AnythingLLM则为其增加了RAG功能，用于私有文档搜索和聊天。

向量数据库, , 记忆层

几乎每个RAG栈都需要一个向量存储。这份清单中出现了五个数据库，各有不同的取舍：

选择哪个取决于你的规模以及你希望管理多少基础设施。Chroma和FAISS非常适合原型设计和嵌入式使用；Qdrant和Milvus通过复制和分片处理生产负载。Weaviate介于两者之间，内置混合搜索。

微调、专业模型及其他

清单的最后一部分涵盖了微调和特定领域的工具。Unsloth加速了LoRA和QLoRA训练，通常能将GPU内存使用量减半。Hugging Face的Transformers仍然是运行几乎所有模型的首选库。Whisper处理跨语言的语音转文本，ComfyUI提供基于节点的Stable Diffusion流水线控制，MLX是苹果用于高效设备端训练和推理的框架。FastAPI和Supabase也出现了，它们不是AI专用的，但却是许多AI服务所依赖的后端脚手架。

该帖子还包括OpenAI Cookbook（OpenAI的生产模式）、LlamaIndex（数据到LLM的连接器）、Continue（VS Code的开源编码助手）、Haystack（搜索和RAG框架），以及前面提到的n8n。

收藏这个帖子吧。你会反复回来翻阅的。