AI Enterprise LLM Platform Engineering
16 hours online course on designing and running an enterprise LLM platform: gateways, access control, data governance, LLM security and cost.
- 所要時間:
- 4セッション · 16時間
- 言語:
- 英語
- 形式
- ライブオンライン・個人専用ラボ環境あり
- クラスサイズ:
- 最大16席
- 前提条件:
Hands-on experience running production services and a basic understanding of LLMs are expected. Experience hosting models is helpful but not required.
Course overview
Once AI moves from individual experiments to company-wide use, someone has to run it: who may use which model, where the data goes, what it costs and what happens when a provider fails. This course covers the design and operation of an enterprise platform that gives controlled, secure and observable access to hosted and self-operated language models.
We compare external model services, private environments and self-hosted inference, and cover model serving fundamentals such as quantization, accelerators, throughput and latency. You will work through gateway and control-plane patterns with routing, quotas and policy enforcement, identity and access management, data residency and audit requirements, and the security risks specific to LLMs and agents. We finish with observability, cost tracking and the lifecycle work of updates, rollbacks and incident response, so you can design a reference architecture for your own organization.
Agenda
-
Enterprise LLM architecture - Compare external model services, private environments and self-hosted inference, and define the responsibilities of an enterprise AI platform.
-
Model serving fundamentals - Model formats, inference, quantization, accelerators, memory, throughput, latency, scaling and the operational trade-offs behind model hosting.
-
Gateway and control-plane patterns - Provide unified access, provider abstraction, model routing, fallback, rate limits, quotas, budgets and policy enforcement through a central layer.
-
Identity and access management - Integrate user and workload identities, single sign-on, service identities, RBAC/ABAC and tenant-aware authorization.
-
Data protection and governance - Control data residency, retention, logging, personally identifiable information, confidential prompts and audit requirements.
-
LLM and agent security - Address prompt injection, data exfiltration, unsafe tool use, permission escalation and guardrails for model- and agent-based applications.
-
Observability, quality and cost - Measure traces, latency, token usage, errors, model behavior, quality signals and cost to support operations and chargeback/showback.•
-
Resilience and lifecycle operations - Plan model updates, compatibility testing, rollbacks, provider failures, capacity constraints and incident response for production AI services.
Who this course is for
This course is for platform, DevOps, security and architecture professionals who design, secure or operate AI services in their organization.
Outcome
Participants can design a reference architecture for an enterprise LLM platform, including access control, model routing, security controls, observability and operational lifecycle requirements.
What's included
- Digital documentation.
- Access to a virtual training center.
- Certificate of completion from croit.
提供資料
- 全セッション分のデジタル資料。
- コース期間中ご利用いただける、ご自身専用のラボ環境を備えたバーチャル研修センター。
- croitの修了証。
技術要件
- 安定かつ高速なインターネット接続が必要です(下り25 Mbit/s以上、上り5 Mbit/s以上)。
- ラボにアクセスするために、モダンなWebブラウザが動作するコンピューターが必要です。
- ディスカッションや質疑応答に参加するため、ヘッドセットまたはスピーカー付きマイクが必要です。
- Webカメラの使用をおすすめします。セッションがよりパーソナルでインタラクティブになります。
予約方法
- 1 ご登録いただき、発注書(Purchase Order)が必要かどうかをお知らせください。
- 2 請求書は1営業日以内にお送りし、croitポータルに表示されます。ポータル上でクレジットカードまたは銀行振込でお支払いいただけます。
- 3 席は入金順に割り当てられます。お申し込みいただいた開催回が先に満席になった場合は、次の空き日程をご案内します。
- 4 ご参加方法、最終スケジュール、ラボへのアクセス情報は、開始の約1週間前にお送りします。
予約前のよくある質問
すべての質問にお答えし、ラボをハンズオン形式のまま進められるよう、1クラスは16名までに制限しています。各日程は、入金済みのお申し込みが3名に達した時点で開催が確定し、「開催確約」と表示されます。最少催行人数に達しない日程は、次の空き日程に変更され、お申し込みもすべて新しい日程に移ります。
当ウェブサイトには、その場で決済を済ませるチェックアウト画面はありません。ご登録いただくと注文を承り、請求書は1営業日以内にお送りしてcroitポータルに表示されます。ポータル上でクレジットカードまたは銀行振込でお支払いいただけます。席は入金順に割り当てられますので、お早めのお支払いが日程の確保につながります。お申し込みいただいた開催回が先に満席になった場合は、次の空き日程をご案内します。
はい、可能です。ご登録時にその旨をお知らせいただくと、請求書ではなく、調達手続きにすぐご利用いただける見積書をお送りします。発注書番号が確定したらお知らせください。その発注書に基づいて請求書を発行いたします。発注書の承認には通常3〜6週間かかるため、それより早い開始日の開催回については、後日の日程をご提案する場合があります。
すべての価格は付加価値税(VAT)抜きで表示されています。ドイツ国内の企業には、19%のドイツ付加価値税を加算して請求いたします。ドイツ以外のEU域内の企業で有効なVAT IDをお持ちの場合は、逆課税(リバースチャージ)方式により税抜金額で請求し、EU域外の企業にはドイツ付加価値税を含まない金額で請求いたします。初回から正確な請求書を発行できるよう、ご登録時にVAT IDをご入力ください。
コース修了時に、croitが独自の修了証を発行します。
最新のWebブラウザが動作するコンピューターと、安定したインターネット接続(下り25 Mbit/s以上、上り5 Mbit/s以上)に加え、ヘッドセットまたはスピーカー付きマイクが必要です。Webカメラの使用をおすすめします。ラボは当社のバーチャル研修センター上で動作するため、お使いのコンピューターにインストールしていただくものはありません。
一年を通して日程を追加し、チーム向けのプライベートグループ研修も実施しています。ご要望をお聞かせください。最適な研修プランをご提案します。
プライベートグループ研修