>_ DevTrendsja

言語

ホーム

言語

セクション

フロントエンド バックエンド モバイル DevOps AI / ML ゲーム開発 ブロックチェーン 組み込み セキュリティ
Unknown

一分钱も使わずにサイドプロジェクト用のAIスタックを構築する方法

よくある話だ。ボットやスマートなドキュメント検索のアイデアに興奮して、メジャークラoudプロバイダーのコンソールを開き、カードをリンクして、1週間後にはテスト実行の請求に驚く。 最悪の場合、ループで走り続けるスクリプトが、数時間で月間リミットを使い果たす。

しかしほとんどのプロトタイプ、ローカル実験、家庭用サーバーでは、支払う必要はない。 developer 12britzのリポジトリがGitHubで人気を集めている。オープンウェイト、カードの登録が不要な無料API、ローカル推論用ソフトウェアのガイドだ。

他の десяток подобныхと何が違うのか

GitHubの「Awesome」リストは、作成から6ヶ月以内に消えてしまうことが多い。リンク切れ、免费ティアの終了、作者によるメンテナンスの放棄が起こる。の作成者は別のアプローチを取った:ライブリンクの定期チェックを設定し、死んだプロジェクトを削除している。

データベースには約50個のオープンモデル、200以上のツール、20以上のセクションが含まれている: готовые интерфейсыや路由器から、エンベディング、ベクトルデータベース、音声エンジンまで。 主な基準はシンプルだ:使うためにお金がかからないこと。

中身の有用的情報

リポジトリ全体が実用的なカテゴリに分類されている。最も興味深い部分をフィルタリングすれば、任意のレベルでアプリケーションを構築するための готовый наборが手に入る。

無料のクラウドAPI

ノートPCの性能が弱かったり、GPUを扱いたくない場合は готовые エンドポイントを呼び出せる:

  • Google AI StudioはGemini Flashモデルラインナップで最も寛容な無料ティアを提供しており、プロンプトのデバッグとテストには十分すぎる。
  • GroqはカスタムLPUチップ 덕분에オープンモデルの推論を大規模な速度で提供し、ベースティアでは支払いが必要ない。
  • NVIDIA NIMはNVIDIAサーバーインフラストラクチャ上で人気のオープンモデルのアクセラレーテッドバージョンへのアクセスを提供。
  • OpenRouterとAnyAPIは統合インターフェースを提供し(無料モデルのみをフィルタリング可能)、単一の設定でそれらを切り替えられる。

自有ハードウェアでのローカル実行

データを社外に置きたくない人或いはクローズド環境用のソフトウェアを構築する人のために、リストにはオープンウェイトと推論エンジンが含まれている:

  • Ollama、LM Studio、llama.cppなどのエンジンは数クリックでインストールでき、量子化とメモリ分散を処理。
  • サーバーと高負荷向けには、効率的なコンテキスト分散サポートを持つvLLMとSGLangがある。
  • オープンウェイトには、Gemma、Phi-4、Qwenなどの一般的なノートPC向け小型オプションと、DeepSeekやMistralレベルのヘビーMoEアーキテクチャが含まれている。

コードアシスタントとターミナルエージェント

有料のCopilotやCursorサブスクリプションを置き換えたい人のためのセクション:

  • Aiderはターミナルで直接動作し、ローカルGitリポジトリへの自動コミットを行う。
  • ClineはVS Codeに統合され、コンソールでコマンドを実行し、段階的にファイルを作成できる。
  • OpenHandsとGooseは複雑なエンジニアリングタスクを自律的に処理する。

路由器とリクエストオプティマイザー

複数の無料ティアを同時に接続している場合、何か把它们管理する必要がある。LiteLLM、9Router、OmniRouteなどのプロジェクトは、トラフィックプロキシング、プロンプト圧縮、プライマリが日次リミットに達した場合のバックアッププロバイダーへのフェイルオーバーを処理する。

免费ティアの落とし穴

無料にはそれ自体の制限があり、作成者はソースの説明で正直に警告している。

最初の問題は、1分あたりのリクエスト数(RPM)と1日あたりのリクエスト数(RPD)の制限だ。免费ティアでは厳しい。エージェントがループで積極的にツールを呼び出すと、すぐに429エラーに遭遇する。

2番目の詳細はデータの機密性に関する。免费ティアでは一部のクラウドプロバイダーがIncomingプロンプトを将来のモデルのトレーニングに使用する権利を留保している。企業独自のコードや機密性の高い顧客データを扱っている場合(無料クラウドキーを使用するわけにはいかない)、OllamaやvLLM経由で量子化されたモデルをローカルで実行する方が安全だ。

最後に、免费クラウドでのモデルの可用性は頻繁に変動する。今日サービスがモデル免费で提供しても、明日サーバ過負荷のためにアクセスを制限する可能性がある。安定した運用には、最初から2〜3の代替ゲートウェイへのフェイルオーバーを持つ路由器を設定する。

実践での使い方

最もシンプルなシナリオ:ターミナルでAider、LiteLLMプロキシ路由器、Google AI StudioまたはGroqの免费キーを組み合わせる。月額料金なしでワークフロー内にフル機能なコードアシスタントが手に入る。

ナレッジベース検索用のRAGパイプラインが必要な場合は、同じリストからエンベディングデータベースのChromaまたはLanceDBを取得し、オープンなBGE-M3エンベディングモデルを接続し、DockerコンテナでOpen WebUIウェブインターフェースをスピンアップできる。

リポジトリは学生、ソロ開発者、アカウント残高を気にせずにサイドプロジェクトを構築したい人々に役立つ。

リポジトリをブックマーク:https://github.12britz/awesome-ai-stack. 次回テスト用にモデルをスピンアップする必要があるときは、別のクラウドコンソールにクレジットカード詳細を入力する代わりに、このリストから始めよう。

関連プロジェクト