AIP でモデルをセルフホストする

登録済みモデルを Compute Module を基盤として実行することで、モデルをセルフホストできます。セルフホストでは、オープンソースまたはカスタムの大規模言語モデルを独自のインフラストラクチャ上で実行し、AIP でファーストクラスのモデルとして使用できます。これは、次のような要件がある場合に役立ちます。

• データ主権： すべての推論トラフィックを独自のネットワーク境界内に保持します。
• オンプレミスまたはエアギャップ環境へのデプロイ： 外部接続なしでモデルを実行します。
• コスト管理： ホスティングプロバイダーにトークン単位で料金を支払う代わりに、独自の GPU を使用します。
• 新しいモデルへの早期アクセス： 新たにリリースされたオープンソースモデルを、ホスティングプロバイダーで利用可能になる前にデプロイします。

前提条件

開始する前に、Compute Module を基盤として実行するモデルの一般的な前提条件と登録手順を確認してください。

AIP でモデルをセルフホストする方法

1. モデルの重みを提供し、サポートされているプロバイダー API 形式を公開する推論サーバー（vLLM や Ollama など）を実行するコンテナイメージをビルドします。
2. Dockerfile に application.port ラベルを設定し、イメージを Artifacts に公開します。コンテナに関する一般的なガイダンスについては、Compute Module のコンテナのドキュメントを確認してください。
3. 公開済みのイメージを使用して Compute Module を作成します。最小レプリカ数を1以上に設定します。
4. Control Panel でモデルを登録し、機能を設定します。
5. 任意のサポートされている AIP アプリケーションでモデルを選択します。