Open Source · Self-Hosted · OpenAI-kompatibel
Ein Gateway für jedes LLM, das Ihr Unternehmen betreibt
Geben Sie Ihren Teams einen einzigen, geregelten Endpunkt für KI, betrieben auf Infrastruktur, die Sie kontrollieren. Zentralisieren Sie den Zugriff, verfolgen Sie jede Anfrage und ihre Kosten und machen Sie jedes Modell agentisch, ohne Agent-Code zu schreiben.
Ein Endpunkt für alle Ihre KI-Backends
LLM Gateway ist ein quelloffener, selbst gehosteter Proxy, der einen einzigen OpenAI-kompatiblen Endpunkt vor jedes Modell stellt, das Sie betreiben, ob lokale GPUs, On-Prem-Cluster oder Cloud-Anbieter. Richten Sie Ihre bestehenden Tools und SDKs darauf aus und erhalten Sie sofort zentrale Authentifizierung, Zugriffskontrolle, Kostenverfolgung und integrierte agentische Tools, ohne eine einzige Zeile Anwendungscode zu ändern.
Die Probleme, die es löst
Shadow AI und Daten, die Sie nicht kontrollieren
Wenn Teams zu öffentlichen KI-Diensten greifen, verlassen sensible Prompts, Dokumente und Code Ihr Netzwerk und schaffen Compliance- und Vertraulichkeitsrisiken, die Sie nicht prüfen können. LLM Gateway hält die Inferenz auf Infrastruktur, die Ihnen gehört, und gibt jedem Nutzer einen freigegebenen Endpunkt, sodass Daten dort bleiben, wo sie hingehören.
Keine Transparenz über Nutzung oder Kosten
Ohne einen zentralen Kontrollpunkt weiß niemand, wer wie viel für welches Modell und welches Projekt ausgibt. LLM Gateway erfasst jede Anfrage, jeden Token und jeden Euro pro Nutzer, Modell und Quelle, mit Kontingenten, Rate-Limits und Live-Dashboards, die KI-Ausgaben planbar machen.
Wildwuchs beim Zugriff über Teams und Modelle hinweg
In Skripte kopierte API-Schlüssel, keine Möglichkeit, Zugriffe zu widerrufen, keine Ahnung, wer welches Modell erreichen kann. LLM Gateway zentralisiert die Authentifizierung mit OIDC und rollenbasierter Zugriffskontrolle und stellt Tokens pro Nutzer aus, die genau festlegen, welche Modelle und Tools jede Person nutzen darf.
Agenten zu bauen ist langsam und teuer
Websuche, Dokumentenverarbeitung, RAG und Codeausführung bedeuten normalerweise eigene Agent-Frameworks und monatelange Entwicklung. LLM Gateway liefert über 40 Tools, die das Modell serverseitig mitten in der Completion ausführt, und macht so jedes OpenAI-kompatible Modell agentisch, ganz ohne clientseitigen Code.
So funktioniert es
LLM Gateway stellt einen einzigen, OpenAI-kompatiblen Endpunkt bereit. Jedes SDK oder jede Anwendung, die bereits OpenAI spricht, richtet sich unverändert darauf aus, Chat-Completions, Embeddings, Bildgenerierung, Transkription und Text-to-Speech laufen alle über dasselbe Gateway.
Hinter diesem Endpunkt verteilt es Anfragen mit Health-Checks und automatischem Failover auf all Ihre Backends und erkennt verfügbare Modelle live, ohne statische Konfiguration, die bei Änderungen Ihrer Flotte gepflegt werden muss. Jede Anfrage durchläuft OIDC-Authentifizierung, rollenbasierte Zugriffskontrolle und Kontingente pro Nutzer, bevor sie überhaupt ein Modell erreicht.
Wenn ein Modell handeln muss, führt das Gateway Tools serverseitig aus und speist die Ergebnisse zurück in die Completion, Websuche, RAG über Ihre eigenen Daten, Codeausführung in isolierten Sandboxes, Dokumentenerstellung und MCP-Konnektoren pro Nutzer, sodass Ihre Anwendungen einfach bleiben, während das Modell die Arbeit erledigt.
Für Kontrolle gebaut
Zentrale Authentifizierung & RBAC
OIDC-Browser-Login gegen Ihren Identity Provider, API-Tokens pro Nutzer, im Ruhezustand gehasht, und rollenbasierte Zugriffskontrolle, die Modelle und Tools pro Nutzer und Rolle steuert. Gewähren, begrenzen und widerrufen Sie Zugriff an einer Stelle.
Volle Transparenz bei Kosten & Nutzung
Erfassung von Anfragen, Tokens und Ausgaben pro Nutzer, Modell und Quelle. Globale, rollen- und nutzerbezogene Kontingente und Rate-Limits über gleitende Zeitfenster, plus Live-Dashboards, die KI-Kosten in eine planbare Zahl verwandeln.
Agentische Fähigkeiten von Haus aus
Über 40 integrierte Tools, Websuche, URL- und PDF-Lesen, RAG über Ihre Codebasis und Dokumente, Codeausführung, Dokumenten-Rendering und MCP-Konnektoren pro Nutzer zu Systemen wie GitHub, Jira, GitLab und Slack, alle serverseitig ausgeführt.
Ihre Daten, Ihre Infrastruktur
Eine einzige selbst gehostete Binärdatei mit SQLite für den Zustand, keine externe Vektordatenbank, kein separates Frontend, keine Daten, die Ihre Umgebung verlassen. Betreiben Sie es auf der Hardware, der Sie bereits vertrauen, mit einer integrierten Chat-Oberfläche für Endnutzer.
In Minuten einsatzbereit, nicht in Monaten
LLM Gateway wird als eine gehärtete, in Rust geschriebene Binärdatei ausgeliefert, kein Compose-Wildwuchs, keine Vektordatenbank, kein separates Frontend zu betreiben. Stellen Sie es mit einem systemd-podman-Quadlet oder Docker bereit, terminieren Sie TLS an Ihrem bestehenden Reverse-Proxy und richten Sie Ihre Teams auf die integrierte Chat-Oberfläche aus. Es fügt sich in die Arbeitsweise Ihrer Infrastruktur ein, statt ihr eine neue Plattform aufzuzwingen.
Bringen Sie geregelte, selbst gehostete KI zu Ihren Teams
Sprechen Sie mit dem croit-Team über den Einsatz von LLM Gateway in Ihrer Umgebung, von einer ersten Evaluierung bis zu Enterprise-Lizenzierung und -Support.
Open Source, enterprise-ready
Kostenlos und quelloffen
LLM Gateway wird unter der AGPL-3.0-Lizenz veröffentlicht, das komplette Gateway, agentische Tools, Chat-UI und Zugriffskontrolle inklusive. Prüfen, betreiben und passen Sie es an Ihre Umgebung an, ohne Gebühren pro Platz und ohne Anbieterbindung.
Unterstützt von croit
Entwickelt vom Team, das große Infrastrukturen in anspruchsvollen Enterprise- und HPC-Umgebungen betreibt. Kommerzielle Lizenzierung, fachkundige Bereitstellung und Support sind bei croit verfügbar, wenn Sie Produktionssicherheit und einen Ansprechpartner brauchen.