News
Mycelis v0.3: Smart Routing, VirtualModels & neue GPU-Typen
Mit Mycelis v0.3 rollen wir drei zentrale Verbesserungen aus, die den Betrieb deutlich einfacher machen.
1) VirtualModels
Ein VirtualModel kapselt mehrere Deployments hinter einem stabilen API-Slug.
- keine harten Modellnamen im Client
- schneller Austausch im Backend
- konsistente API fuer Teams
2) Smart Routing
Routing-Regeln entscheiden jetzt pro Request, welches Deployment am besten passt.
- Guenstigstes Modell fuer Standardanfragen
- Qualitaetsmodell fuer kritische Prompts
- Fallback bei Lastspitzen oder Ausfaellen
3) Neue GPU-Typen
Zusatztypen fuer unterschiedliche Lastprofile helfen, Kosten und Latenz besser auszubalancieren.
Tipp: Fuer produktive Setups lohnt es sich, ein preiswertes Default-Deployment und ein High-Quality-Deployment zu kombinieren.