"Demo: Multi-Model Coding Agent mit automatischem Fallback"

In diesem Tutorial baust du einen produktionsreifen Coding-Agenten aus drei Modellen: einem selbst gehosteten Open-Source-Modell, einem kommerziellen Top-Modell und einem guenstigen Fallback. Das Routing laeuft automatisch – kein Code erforderlich.

Was wir bauen

• Gemma 4 als self-hosted Deployment (kein Token-Preis)
• Claude Opus 4.6 per BYOK fuer komplexe Aufgaben
• DeepSeek-V3 per BYOK als guenstiger Mittelstufen-Fallback
• Ein Virtual Model, das alle drei buendelt
• Einen Agent mit regelbasiertem Routing + Smart Dispatcher
• OpenCode mit dem Mycelis-Proxy als Backend

---

Schritt 1: Gemma 4 deployen

Gehe zu Compute → Deployments → Neues Deployment.

Waehle als Modell gemma-4 (oder die verfuegbare Gemma-4-Variante in deinem Cluster). Gib dem Deployment einen sprechenden Namen wie gemma4-coding-local. Starte das Deployment – es laeuft auf deiner eigenen GPU und erzeugt keine variablen Token-Kosten.

Tipp: Gemma 4 eignet sich hervorragend fuer Autocomplete, kurze Erklaerungen und einfaches Refactoring. Hier landen etwa 60–65 % der typischen Coding-Anfragen.

---

Schritt 2: Claude Opus 4.6 deployen (BYOK)

Gehe zu Compute → Deployments → Neues Deployment → BYOK.

Waehle als Provider Anthropic, als Modell claude-opus-4-6. Trage deinen Anthropic API-Key ein und vergib den Namen claude-opus-coding. Speichern.

Claude Opus 4.6 ist fuer Architektur-Entscheidungen, komplexes Debugging mit Stacktraces und tiefes Reasoning reserviert.

---

Schritt 3: DeepSeek-V3 deployen (BYOK)

Gehe erneut zu Compute → Deployments → Neues Deployment → BYOK.

Waehle als Provider DeepSeek, als Modell deepseek-chat (DeepSeek-V3). Trage deinen DeepSeek API-Key ein, Name: deepseek-v3-coding. Speichern.

DeepSeek-V3 kostet einen Bruchteil von Claude und loest Standard-Coding-Aufgaben – Bugfixing, Unit-Tests, Refactoring mittlerer Komplexitaet – zuverlaessig.

---

Schritt 4: Virtual Model erstellen

Gehe zu Models → Neues Virtual Model.

• Name: coding-agent
• Slug: coding-agent (wird spaeter im OpenCode-Config verwendet)
• Deployments hinzufuegen: alle drei – gemma4-coding-local, claude-opus-coding, deepseek-v3-coding

Ein Virtual Model buendelt mehrere Deployments hinter einem stabilen Slug. Clients sprechen immer denselben Endpunkt an, das Routing passiert dahinter automatisch.

---

Schritt 5: Agent erstellen und Strategie waehlen

Gehe zu Agents → Neuer Agent.

• Name: Multi-Model Coding Agent
• Virtual Model: coding-agent
• Strategie: Regelbasiert

Die regelbasierte Strategie wertet bei jeder Anfrage eine Prioritaetsliste von Bedingungen aus und routet ans passende Deployment. Gibt es keinen Treffer, springt der Smart Dispatcher als Fallback ein.

---

Schritt 6: Routing-Regeln konfigurieren

Fuege im Agent unter Routing-Regeln folgende drei Regeln ein (Reihenfolge ist entscheidend):

Regel 1 – Einfache Aufgaben zu Gemma 4

Feld	Wert
Bedingung	Schluesselwoerter enthalten: autocomplete, erklär, erklaer, kommentier, rename, snippet
Ziel-Deployment	gemma4-coding-local
Prioritaet	1 (hoechste)

Regel 2 – Komplexe Aufgaben zu Claude Opus 4.6

Feld	Wert
Bedingung	Schluesselwoerter enthalten: architektur, design, stacktrace, debug, migration, performance, security ODER geschaetzte Token > 4000
Ziel-Deployment	claude-opus-coding
Prioritaet	2

Regel 3 – Standard-Coding zu DeepSeek (Default)

Feld	Wert
Bedingung	Immer wahr (Default-Fallback-Regel)
Ziel-Deployment	deepseek-v3-coding
Prioritaet	3 (niedrigste)

Smart Dispatcher als Sicherheitsnetz: Wenn keine Regel greift (z. B. weil alle Deployments temporaer nicht erreichbar sind oder Regel-Logik unveraendert bleibt), analysiert der Smart Dispatcher die Anfrage und waehlt das kosteneffizienteste verbleibende Deployment.

---

Schritt 7: API-Key in Mycelis erstellen

Gehe zu Settings → API Keys → Neuer API-Key.

• Name: opencode-local
• Berechtigungen: Inference (mindestens)
• Klicke Erstellen und kopiere den generierten Key – er wird nur einmal angezeigt.

Dieser Key autorisiert OpenCode, Anfragen ueber deinen Mycelis-Workspace zu senden.

---

Schritt 8: OpenCode mit Mycelis-Proxy konfigurieren

Oeffne deine OpenCode-Konfigurationsdatei (~/.config/opencode/config.json oder opencode.json im Projektroot).

Fuege einen neuen Provider ein:

{
  "providers": {
    "mycelis": {
      "name": "Mycelis",
      "apiKey": "mc_dein_api_key_hier",
      "baseURL": "https://mycelis.ai/api/proxy/v1"
    }
  },
  "model": "mycelis/coding-agent"
}

Ersetze mc_dein_api_key_hier durch den Key aus Schritt 7 und coding-agent durch den Slug deines Virtual Models.

Starte OpenCode neu. Ab jetzt laufen alle Anfragen ueber Mycelis, das Routing entscheidet im Hintergrund, welches der drei Modelle antwortet.

---

Ergebnis

Du hast jetzt einen Coding-Agenten, der:

1. Einfache Anfragen kostenlos auf deiner eigenen GPU beantwortet (Gemma 4)
2. Komplexe Architektur-Fragen an Claude Opus 4.6 weiterleitet
3. Alle anderen Aufgaben an DeepSeek-V3 sendet – bei einem Bruchteil der Claude-Kosten
4. Bei keinem Regel-Treffer den Smart Dispatcher einsetzt, der automatisch das guenstigste geeignete Modell waehlt
5. Jede Routing-Entscheidung im Dashboard unter Smart Routing Insights protokolliert

Fuer ein typisches Coding-Workload solltest du damit 60–70 % der API-Kosten gegenueber einem Single-Model-Setup einsparen, ohne Kompromisse bei der Ausgabequalitaet.