セルフホスト型AIインフラストラクチャ · OpenAI互換 · オープンソース
すべてのAIを1つの基盤で
croit aiplaneは、エンタープライズAIが動作するインフラストラクチャレイヤーです。アプリケーションをモデル、エージェント、ツール、社内データに接続し、認証、ポリシー、使用量を1か所で管理します。
あらゆるモデル、あらゆるツールを自社インフラで。OpenAI互換の既存クライアントは変更なしでの利用を続けられます。
モデルのエンドポイントはAIインフラストラクチャではありません
vLLMやSGLangは高速な推論を提供します。しかし、ユーザーが誰なのか、利用できるモデルが何か、先月どれだけ利用したのか、モデルが社内Wiki、Jira、コードへどうアクセスするかは知りません。aiplaneはこれらすべてを管理するレイヤーです。モデル、エージェント、ツール、データ、認証、ポリシーが交わる1つの場所であり、既存の推論環境の上に配置されます。導入すべきエージェントフレームワークはなく、書き直すアプリケーションもありません。（aiplaneは旧croit LLM Gatewayとしてリリースされた製品です。）
1つのレイヤーが4つの要素をつなぐ
上側：アプリケーション
OpenAIまたはAnthropic APIに対応する既存のアプリケーションはすべて対象です。SDK、内部サービス、IDEアシスタント、CLIエージェントに加え、コードを書いていないすべての利用者向けに組み込みチャットUIを提供します。
中継地点：認証とポリシー
すべてのリクエストはOIDCサインインまたはユーザーごとのトークン経由で受け取り、そのユーザーが利用可能なモデル、ツール、予算に照合してから処理を進めます。
内側：エージェントランタイム
aiplaneは、Web検索、RAG、MCPコネクタ、サンドボックス化されたコード、メモリなどのツールをcompletionの内部でサーバー側から実行します。クライアントが受け取るのは通常の1つのレスポンスです。
下側：モデル
セルフホスト型のvLLM、SGLang、Ollama、llama.cppをホスティング型プロバイダーと並べて利用できます。aiplaneが死活監視し、レプリカ間に負荷を分散し、障害時も呼び出し元を失敗させずに処理を続けます。
チームがモデルの前にAIplaneを置く理由
あらゆるモデルをエージェント対応にする
vLLMの背後にあるモデルはプロンプトに応答するだけです。aiplaneの背後では検索、文書閲覧、コード実行、指示内容の記憶も行い、すべてのユーザーとOpenAI互換クライアントに機能を提供します。
自社ハードウェアでプライベートAI
推論、プロンプト、文書、ツール実行はすべて社内ネットワーク内に留まります。組織で許可されたエンドポイントを利用できるようになると、パブリックAIサービスは便利な選択肢ではなくなります。
モデルと社内ツール・データを接続する
Git、Nextcloud、WebDAV、Google Drive、メーリングリストアーカイブに対するRAGを提供します。GitHub、Jira、GitLab、SlackへのMCPコネクタも各ユーザーとして個別に認証されます。
モデルは入れ替わっても、aiplaneはそのまま
fastやsmartなどのエイリアスを、現在応答しているモデルへ割り当てます。モデルの交換、レプリカ追加、新しいハードウェアへの移行があっても、アプリケーションから送るリクエストは変わりません。
プライベートAIを最優先に
ここでは、セルフホストが既定であり、多数のデプロイ方法の一つではありません。aiplaneは各バックエンドが実際には何であるか（vLLM、SGLang、Ollama、llama.cpp）を検出し、それに適応します。コンテキストウィンドウを検出し、そのサーバーがreasoning effortをどのように表現しているかに合わせ、実行できない機能がある場合は回避します。
ルーティングは推論の動作特性に合わせます。KVキャッシュを考慮する戦略は、会話のプレフィックスを既に保持しているレプリカへリクエストをルーティングします。必要に応じてleast-inflightや重み付きラウンドロビンも利用できます。ヘルスプローブは数秒ごとに実行され、すべてのレプリカが混雑または停止中の場合、呼び出し元へエラーを返す代わりにリクエストを待機・再試行します。
GPUは自社所有のため、使用量を記録しながら課金は不要です。セルフホスト型プールを非課金対象として指定すると、誰の予算にも計上されませんが、使用量はダッシュボードで確認できます。本番業務で本当に必要な場合は、パブリックモデルも1項目追加するだけで利用できます。
エージェントは基盤上で動くため、どのクライアントでも利用できます
モデルがツールを呼び出すと、aiplaneが実行し、同じcompletionに結果を返します。リクエストを行ったアプリケーションには通常の1つのレスポンスが返されます。そのためcurlスクリプト、IDEアシスタント、組み込みチャットUIのすべてが同じエージェントを利用でき、フレームワーク、オーケストレーションコード、クライアント側のツールループを維持する必要はありません。ツールはモデルが必要とするグループを要求するまで無効のままで、公開される一覧を短くし、選択を正確に保ちます。
50を超える組み込みツールと、接続可能なすべてのもの
Web検索と読み取り
SearXNGまたはBraveで検索し、URLを取得し、PDFをページ単位で読み取ります
社内データに対するRAG
Git、Nextcloud、WebDAV、Google Drive、メーリングリストを、意味とキーワードの両方で検索します
MCPコネクタ
GitHub、Jira、GitLab、Slack、その他すべてのMCPサーバーを、ユーザーごとに認証して接続します
サンドボックス化されたコード
Python、シェル、データツールを一度限りのgVisorコンテナで実行し、デフォルトではネットワークを使えません
ドキュメント
バージョン管理されたキャンバスで作成・編集し、PDF、DOCX、PPTXへエクスポートします
メモリ
ユーザーが一度伝えた内容は次の会話でも利用でき、ユーザーが編集できる状態を維持します
自動実行
保存したプロンプトをスケジュールまたは受信Webhookで実行し、履歴と再実行にも対応します
画像と音声
バックエンドが対応していれば、画像の生成・編集、音声の文字起こし、モデルとの音声対話が可能です
既存の環境との互換性
推論サーバー
vLLM、SGLang、Ollama、llama.cppは自動検出され、プロファイルが作成されます。OpenAIのwire formatに対応するその他のサービスも汎用バックエンドとして追加できます。
OpenAI互換クライアント
チャットcompletion、embedding、画像、文字起こし、音声を、SDKがすでに呼び出すパスで提供します。base URLとキーを変更するだけで、他に手を加える必要はありません。
Anthropic APIクライアント
aiplaneはAnthropic Messages APIも提供するため、Claude Codeなどのツールを自社GPU上で、認証、クォータ、使用量管理のもとで実行できます。
MCPサーバー
任意のMCPサーバーをURLで接続できます。カタログには8種類のコネクタが同梱され、GitHub、Jira、Confluence、GitLab、Slack、Google Workspaceに対応します。OAuthはユーザーごとに処理されます。
全社共通に効的管理
認証
Keycloak、Authentik、Entra、Oktaなど、準拠規格を満たすプロバイダーとPKCE対応OIDCを連携します
ロールとグループ
OIDCクレームからマッピングしたグループで、モデル、ツール、スキル、RAGコレクション、コネクタへのアクセスを制御します
スコープ付きトークン
ユーザーごとのAPIトークンをハッシュのみで保存し、利用可能なモデルとツールの範囲を限定します
クォータと予算
ユーザー、ロール、トークン、モデルごとに、時間、回数、トークン数、または支出額を1時間、日、週、月単位で制限します
可視化できる使用状況
ユーザー、モデル、バックエンド、発生元ごとに、リクエスト、トークン、エラー、コストをライブダッシュボードで確認できます
データはそのままの場所に
会話、ドキュメント、ツール実行はすべて自社デプロイ環境内に保存されます
1つのバイナリ、必要設定は1つ
aiplaneは、状態管理にSQLite、ベクトルインデックスを組み込み、Web UIも同じプロセスの同じポートで提供する、単一のRustバイナリとして配布されます。作成する設定ファイルはありません。セッションキーを設定し、ボリュームを割り当て、ブラウザでセットアップウィザードを完了します。管理権限を付与する前に、実際のサインインが完了していることを確認します。systemd上のpodman Quadlets、Docker Compose、または公開されているHelmチャートを使用したKubernetesで実行できます。コード実行だけはバイナリの外側にあり、セキュリティを強化した別のランナーサービスで実行されます。
croitが支援する試験導入から本番運用へ
自社環境で試験導入を始める
aiplaneを貴社のモデルとIDプロバイダーに対して検証し、資料ではなく貴社自身のインフラで判断できるようにします。
データとシステムに接続
実際に利用しているリポジトリと文書ストアに対するRAGコレクション、利用中のツールへのMCPコネクタ、組織の体系に合わせたロールとクォータを構成します。
本番のように運用
長年にエンタープライズおよびHPCインフラを運用してきたチームが、systemd、Docker、Kubernetes上でのサイジング、ハードニング、デプロイを実施します。
責任ある担当体制を確保
商用ライセンス、サポート、aiplaneを開発するエンジニアへの直接の連絡窓口により、貴社が依存するレイヤーを、個人のサイドプロジェクトではなく、確実に保守される製品として維持できます。
aiplaneの設計を具体化しましょう
現在利用しているモデルと、チームにさせたいことをお聞かせください。構成、必要工数、運用コストを具体的にご提示します。
まず最初に寄せられる質問
はい。croit LLM Gatewayは現在croit aiplaneです。製品、コード、デプロイは同一で、名称が実態に追いついただけです。以前はモデル前のプロキシでしたが、現在はすべてが動作するインフラストラクチャレイヤーです。/solutions/llm-gatewayへの旧リンクはここへリダイレクトされ、リポジトリはgithub.com/croit/aiplaneへ移動しました。
推論サーバーは推論を提供します。ユーザーが誰なのか、利用できるモデルが何か、使用額はどうなったか、モデルが文書や社内システムへどうアクセスするかは知りません。croit aiplaneは、既存の推論サーバーを置き換えるのではなく、その上に認証、RBAC、クォータ、コスト管理、レプリカ間のルーティング、サーバーサイドのエージェントランタイムを追加します。
プロキシはリクエストを転送し、プロバイダー間の違いを吸収します。aiplaneもそれを行いますが、リクエストが到着した後の処理が本質です。completion内でツール、MCPコネクタ、RAG、サンドボックス化されたコードを実行し、ユーザーごとのメモリを保持し、グループでモデルとツールを制御し、支出を計測します。得られるのはモデルへの経路だけではなく、チームで基盤にできるインフラストラクチャです。
はい。1つのプールにセルフホスト型バックエンド、ホスティング型プロバイダー、またはその両方を置けます。OpenAIのwire formatに対応するすべてのバックエンド、集約サービス、別のプロキシも汎用バックエンドとして追加できます。自社GPUをレート制限の対象外として指定し、実際の課金対象容量にだけ予算を設定できます。
いいえ。aiplaneはSDKがすでに呼び出すOpenAIのエンドポイントに加え、Anthropic Messages APIも提供します。base URLとキーを変更するだけです。エージェントの動作は同じcompletion経由で返るため、単純なcurlスクリプトでもクライアント側のループなしでツール、RAG、メモリを利用できます。
チャットだけならセッションキーとボリュームが必要です。RAGにはembedding対応バックエンド、ファイルアップロードにはS3互換ストレージ、コード実行にはgVisor対応ホスト上のサンドボックスランナーも必要です。各機能は依存関係が揃った時点で表示され、利用を試した瞬間に失敗しません。
完全に自社環境内で動作し、AGPL-3.0でリリースされています。ルーティング、エージェントランタイム、チャットUI、アクセス制御はすべて含まれます。croitから別途、商用ライセンスも提供できます。エンタープライズ版や機能制限はなく、オープンソース版が製品そのものです。
オープンソースをcroitがサポート
無料・オープンソース
AGPL-3.0でリリースされ、ルーティング、エージェントランタイム、ツール、チャットUI、アクセス制御が含まれています。採用前にコードを確認してください。ユーザー単位の料金、限定版、ロックインはありません。
croitがサポート
厳しいエンタープライズおよびHPC環境で大規模インフラを運用するチームが開発しました。aiplaneを書く人たちは、導入とサポートを行う同じ人たちです。