#vicuna

OpenAI API対応のオープンソースAIモデルを1コマンドでデプロイする方法

OpenLLMは、1コマンドで任意のオープンソースAIモデルをOpenAI互換のAPIエンドポイントとしてデプロイできるツールです。BentoMLとvLLMの上に構築されています。