Open Source · Auto-hébergé · Compatible OpenAI
Une passerelle pour chaque LLM utilisé par votre organisation
Offrez à vos équipes un point de terminaison unique et encadré pour l'IA, exécuté sur une infrastructure que vous contrôlez. Centralisez l'accès, suivez chaque requête et son coût, et rendez n'importe quel modèle agentique sans écrire de code d'agent.
Un point de terminaison pour tous vos backends d'IA
LLM Gateway est un proxy open source et auto-hébergé qui place un unique point de terminaison compatible OpenAI devant chaque modèle que vous exécutez, GPU locaux, clusters sur site ou fournisseurs cloud. Dirigez vos outils et SDK existants vers lui et bénéficiez instantanément d'une authentification centralisée, d'un contrôle d'accès, d'un suivi des coûts et d'outils agentiques intégrés, sans changer une seule ligne de code applicatif.
Les problèmes qu'il résout
Shadow AI et données hors de contrôle
Lorsque les équipes se tournent vers des services d'IA publics, les prompts, documents et code sensibles quittent votre réseau, créant des risques de conformité et de confidentialité que vous ne pouvez pas auditer. LLM Gateway maintient l'inférence sur une infrastructure qui vous appartient et donne à chaque utilisateur un point de terminaison autorisé, pour que les données restent à leur place.
Aucune visibilité sur l'usage ou les coûts
Sans point de contrôle central, personne ne sait qui dépense quoi, sur quel modèle, pour quel projet. LLM Gateway mesure chaque requête, chaque token et chaque euro par utilisateur, modèle et source, avec des quotas, des limites de débit et des tableaux de bord en direct qui rendent les dépenses d'IA prévisibles.
Prolifération des accès entre équipes et modèles
Des clés d'API copiées dans des scripts, aucun moyen de révoquer l'accès, aucune idée de qui peut atteindre quel modèle. LLM Gateway centralise l'authentification avec OIDC et le contrôle d'accès basé sur les rôles, en émettant des tokens par utilisateur qui déterminent précisément quels modèles et outils chaque personne peut utiliser.
Construire des agents est lent et coûteux
La recherche web, l'analyse de documents, le RAG et l'exécution de code impliquent normalement des frameworks d'agents sur mesure et des mois de développement. LLM Gateway fournit plus de 40 outils que le modèle exécute côté serveur, en pleine complétion, rendant tout modèle compatible OpenAI agentique sans aucun code côté client.
Comment ça marche
LLM Gateway expose un unique point de terminaison compatible OpenAI. Tout SDK ou application qui parle déjà OpenAI s'y connecte sans modification, complétions de chat, embeddings, génération d'images, transcription et synthèse vocale passent tous par la même passerelle.
Derrière ce point de terminaison, elle répartit les requêtes sur tous vos backends avec des contrôles de santé et un basculement automatique, et découvre les modèles disponibles en direct, sans configuration statique à maintenir lorsque votre parc évolue. Chaque requête passe par l'authentification OIDC, le contrôle d'accès basé sur les rôles et les quotas par utilisateur avant même d'atteindre un modèle.
Lorsqu'un modèle doit agir, la passerelle exécute les outils côté serveur et réinjecte les résultats dans la complétion, recherche web, RAG sur vos propres données, exécution de code dans des sandbox isolées, génération de documents et connecteurs MCP par utilisateur, afin que vos applications restent simples pendant que le modèle fait le travail.
Conçu pour le contrôle
Authentification centralisée et RBAC
Connexion OIDC via navigateur auprès de votre fournisseur d'identité, tokens d'API par utilisateur hachés au repos, et contrôle d'accès basé sur les rôles qui régit les modèles et les outils par utilisateur et par rôle. Accordez, délimitez et révoquez l'accès depuis un seul endroit.
Visibilité totale sur les coûts et l'usage
Mesure des requêtes, des tokens et des dépenses par utilisateur, modèle et source. Quotas et limites de débit globaux, par rôle et par utilisateur sur des fenêtres glissantes, ainsi que des tableaux de bord en direct qui transforment le coût de l'IA en un chiffre planifiable.
Capacités agentiques prêtes à l'emploi
Plus de 40 outils intégrés, recherche web, lecture d'URL et de PDF, RAG sur votre code et vos documents, exécution de code, rendu de documents et connecteurs MCP par utilisateur vers des systèmes comme GitHub, Jira, GitLab et Slack, tous exécutés côté serveur.
Vos données, votre infrastructure
Un unique binaire auto-hébergé avec SQLite pour l'état, sans base de données vectorielle externe, sans frontend séparé, sans données quittant votre environnement. Exécutez-le sur le matériel auquel vous faites déjà confiance, avec une interface de chat intégrée pour les utilisateurs finaux.
Déployé en quelques minutes, pas en quelques mois
LLM Gateway est livré sous forme d'un binaire durci écrit en Rust, sans prolifération de compose, sans base de données vectorielle, sans frontend séparé à exploiter. Déployez-le avec un Quadlet systemd-podman ou Docker, terminez le TLS sur votre reverse proxy existant et dirigez vos équipes vers l'interface de chat intégrée. Il s'adapte à la façon dont votre infrastructure fonctionne déjà au lieu de lui imposer une nouvelle plateforme.
Apportez une IA encadrée et auto-hébergée à vos équipes
Discutez avec l'équipe croit du déploiement de LLM Gateway dans votre environnement, d'une première évaluation à la licence et au support pour l'entreprise.
Open source, prêt pour l'entreprise
Gratuit et open source
LLM Gateway est publié sous licence AGPL-3.0, avec la passerelle complète, les outils agentiques, l'interface de chat et le contrôle d'accès inclus. Inspectez-le, exécutez-le et adaptez-le à votre environnement, sans frais par utilisateur ni dépendance à un fournisseur.
Soutenu par croit
Développé par l'équipe qui exploite des infrastructures à grande échelle dans des environnements d'entreprise et HPC exigeants. Licences commerciales, déploiement expert et support sont disponibles auprès de croit lorsque vous avez besoin de garanties de production et d'un interlocuteur.