Modellrouten — 30 Routen, eine API¶

LiteLLM ist die einzige Tür zu allen Modellen. Kein Dienst und kein Agent spricht ein Modell direkt an — dadurch sind Kosten, Datenwege und Failover an einer Stelle steuerbar und in Langfuse pro Call nachvollziehbar.

Routenklassen¶

flowchart TB
  classDef os fill:#0c1d18,stroke:#5fe3d6,color:#e8e2d4
  classDef cloud fill:#141008,stroke:#d4a017,color:#f4ede4
  classDef guard fill:#0f1420,stroke:#a78bfa,color:#ece8f8

  D["Dienste & Agenten"] --> LL["LiteLLM Gateway"]:::os
  LL --> LOK["LOKAL (DGX)\nDaten bleiben im Haus"]:::os
  LL --> CLD["CLOUD (OpenRouter)\nnur unkritische Aufgaben"]:::cloud
  LL --> GRD["GEFÜHRT (CLAW)\nAgenten-Routen mit Schutzkette"]:::guard

Lokal — souveräne Klasse (Daten verlassen den Cluster nicht)¶

Route	Modell / Zweck
`deepseek-v4-flash` (+ `-fast`, `-max`, `-think-max`, `-284b`, `-tp2-canary`)	Lokales Hauptmodell mit 200k Kontext; Varianten = Sampling-/Reasoning-Profile. Stand 2026-07-03: der sichtbare Live-Endpunkt laeuft stabil auf Spark 3; Ray sieht vier GPUs, aber DP4/TP4-Umschaltungen bleiben ein Wartungsfenster und sind kein Default-Betrieb.
`qwen3.6-vision-local`	Bilder/Screenshots lokal
`glm-ocr-local`	OCR lokal (Rechnungen, Scans)
`text-embedding-bge-m3`	Embeddings lokal via Ollama (multilingual)
gemma3:27b (Ollama)	NemoClaw-Default, schnelle Agentenaufgaben

Cloud — Komfortklasse (via OpenRouter, bewusst eingesetzt)¶

Familie	Routen
Anthropic	`claude-opus-4-8`, `claude-opus-4.6`, `claude-sonnet-4.6`, `claude-haiku-4.5`
OpenAI	`gpt-5`, `gpt-5-mini`, `o3-mini`
Google	`gemini-2.5-pro`, `gemini-2.5-flash`, `gemma-4-26b-a4b-it`
Sonstige	`perplexity-sonar-pro` (Recherche), `sakana-fugu-ultra`, `openrouter/auto` (Auto-Routing)

Geführt — Agentenklasse (durch die CLAW-Schutzkette)¶

Route	Nutzer
`claw-runtime-guarded` (+ Canary)	Standard-Agentenroute: Guardrails → Runtime-Proxy → Modell
`<Mandant>-CLAW` (+ Canary)	Mandanten-gebundene Route ben-e-fit
`hermesclaw-deepseek`	KIMclaw/Hermes lokal
`nemoclaw-deepseek`	NemoClaw lokal
`openclaw-deepseek`	OpenClaw/KIMody lokal

Auswahlregeln (Betriebspraxis)¶

Aufgabe	Route
Vertraulich, Mandantendaten	lokal (`deepseek-v4-flash`, gemma3) — immer
Agenten-Aktionen mit Seiteneffekt	nur geführt (`claw-runtime-guarded`)
Komplexes Reasoning, unkritischer Inhalt	Opus/GPT-5
Masse & Geschwindigkeit	Haiku / `gpt-5-mini` / lokal
Recurring Jobs (Cron)	lokal — kostenlos
Recherche	`perplexity-sonar-pro`, SearXNG

Mandanten-Aspekt

<Mandant>-CLAW zeigt das Muster: pro Mandant eine eigene geführte Route mit eigenem Budget, eigenen Guardrails und eigener Langfuse-Sicht. Neue Mandanten bekommen ihre <Mandant>-CLAW-Route als Teil des Provisioning-Pakets.