Changelog

Cost Routing: Route-Model-Aktion

Eine neue Regel-Aktion tauscht das angefragte Modell gegen ein guenstigeres — immer oder erst, wenn ein Budget eine Ausgabenschwelle ueberschreitet.

Regeln koennen jetzt bestimmen, an welches Modell ein Request geht. Die neue Aktion Route Model schreibt das Feld model um, bevor der Proxy den Request weiterleitet — entweder fuer jeden passenden Request oder erst, wenn ein passendes Budget einen konfigurierbaren Anteil seines Limits verbraucht hat (z. B. Downgrade auf gpt-4o-mini ab 80%). Kombinieren Sie die Aktion mit einer Bedingung auf Modell, Label oder Header, um sie einzugrenzen. Das urspruengliche Modell wird als requested_model im Trace gespeichert und im Response-Header x-grepture-routed-model zurueckgegeben — so sehen Sie genau, wo das Routing Kosten gespart hat.