不花一分钱构建个人项目的 AI 技术栈
熟悉的故事：你对构建机器人或智能文档搜索的想法感到兴奋，打开了主要云服务商的控制台，绑定了信用卡，一周后发现测试运行产生了费用。最糟糕的情况是，一个脚本在循环中持续运行，在几个小时内就烧光了月度限额。
然而，对于大多数原型、本地实验和家庭服务器，你根本不需要付费。开发者 12britz 的一个仓库在 GitHub 上越来越受欢迎。它是一份关于开源权重模型、无需信用卡的免费 API 以及本地推理软件的指南。
这个集合与其他数十个集合的不同之处
GitHub 上的"awesome"列表通常在创建后六个月内就失效了。链接变得无效，免费层级关闭，作者放弃维护。这个 {0} 的创建者走了不同的路线：他们设置了定期检查实时链接并移除已失效的项目。
该数据库包含约 50 个开源模型、超过 200 个工具和 20 多个部分：从现成界面和路由器到嵌入模型、向量数据库和语音引擎。主要标准很简单：使用它不应该需要花钱。
里面有什么有用的内容
整个仓库被分解为实用的类别。筛选最有趣的部分可以为你提供一套随时可用的工具，用于在任何级别构建应用程序。
免费云 API
如果你有一台性能较弱的笔记本电脑或不想处理 GPU，可以调用现成的端点：
- Google AI Studio 提供 Gemini Flash 模型系列中最慷慨的免费层级，对于提示词调试和测试来说绰绰有余。
- Groq 借助定制 LPU 芯片以极快的速度提供开源模型推理，基础层级无需付款。
- NVIDIA NIM 提供对 NVIDIA 服务器基础设施上流行开源模型加速版本的访问。
- OpenRouter 和 AnyAPI 提供统一接口，你可以在其中筛选仅免费模型并通过单一配置在它们之间切换。
在自有硬件上本地运行
对于那些希望数据保持私密或为封闭环境构建软件的人，该列表包括开源权重模型和推理引擎：
- Ollama、LM Studio 和 llama.cpp 等引擎只需点击几下即可安装，并处理量化和内存分配。
- 对于服务器和高负载场景，有支持高效上下文分配的 vLLM 和 SGLang。
- 开源权重模型包括适用于普通笔记本电脑的较小选项（如 Gemma、Phi-4 或 Qwen），以及达到 DeepSeek 或 Mistral 级别的大型 MoE 架构。
代码助手和终端代理
面向那些希望替换付费 Copilot 或 Cursor 订阅的用户的部分：
- Aider 直接在终端中工作，并自动将更改提交到本地 Git 仓库。
- Cline 集成到 VS Code 中，可以运行控制台命令并逐步创建文件。
- OpenHands 和 Goose 自主处理复杂的工程任务。
路由器和请求优化器
如果你同时连接多个免费层级，你需要以某种方式管理它们。LiteLLM、{1} 和 OmniRoute 等项目处理流量代理、提示词压缩，以及在主提供商达到日限额时故障转移到备用提供商。
免费层级的陷阱
免费的午餐有其局限性，作者在源代码描述中如实警告了这些问题。
第一个问题涉及每分钟请求数（RPM）和每日请求数（RPD）限制。免费层级的限制很严格。如果你的代理开始积极地在循环中调用工具，你会很快遇到 {2} 错误。
第二个细节与数据保密性有关。一些云服务商的免费层级保留使用传入提示词来训练未来模型的权利。如果你正在处理专有公司代码或敏感客户数据，你就不能使用免费云密钥——通过 Ollama 或 vLLM 在本地运行量化模型更安全。
最后，免费云中的模型可用性经常波动。今天某个服务提供免费模型，明天可能因服务器过载而限制访问。为了稳定运行，从一开始就配置一个路由器，备用 2-3 个替代网关。
如何在实践中应用
最简单的场景：在终端中设置 Aider 组合，加上 LiteLLM 代理路由器，以及来自 Google AI Studio 或 Groq 的免费密钥。你可以在工作流程中获得一个功能完整的代码助手，而无需支付月费。
如果你需要用于知识库搜索的 RAG 管道，可以从同一列表中获取嵌入数据库 Chroma 或 LanceDB，连接开源 BGE-M3 嵌入模型，并在 Docker 容器中启动 Open WebUI Web 界面。
{3} 仓库对学生、独立开发者以及任何希望在不看账户余额的情况下构建个人项目的人都很有用。
收藏该仓库：https://github.12britz/awesome-free-models。下次你需要启动一个模型进行测试时，先从这个列表开始，而不是将信用卡详细信息输入到另一个云控制台。
相关项目