[ROUTING]

Nie ausfallen, weil Ihr Provider ausgefallen ist.

Speichern Sie Ihre LLM-Provider-Keys in Grepture. Der Proxy wechselt automatisch zwischen Keys und Providern bei Auth-Fehlern, Rate-Limits, Timeouts und Server-Fehlern — mit integrierter Cross-Provider-Request-Übersetzung.

Kostenlos startenDocs
[What it does]

Grepture verwaltet Ihre LLM-Provider-API-Keys und nutzt sie zum Routing von Requests. Konfigurieren Sie mehrere Keys pro Provider und Cross-Provider-Fallback-Pfade. Der Proxy erkennt Authentifizierungsfehler, Rate-Limits, Timeouts und Server-Fehler — und versucht automatisch den nächsten Key oder Provider. Cross-Provider-Fallback übersetzt das Request- und Response-Format automatisch, sodass Ihr Anwendungscode sich nie ändert.

[How it works]

Fügen Sie Provider-Keys im Grepture-Dashboard hinzu. Setzen Sie einen primären Key pro Provider und verknüpfen Sie Fallback-Keys — Same-Provider oder Cross-Provider. Der Proxy übernimmt Key-Auswahl, Fehlererkennung (401, 408, 429, 5xx) und Format-Übersetzung zwischen Providern. Jeder Fallback-Versuch wird im Dashboard getracet. Kombinierbar mit Zero-Data-Modus für vollen Schutz ohne Speicherung von Request-Inhalten.

app.grepture.com/settings/provider-keys
[PROVIDER KEYS]
ProviderNameKeyDefault modelStatus
OpenAIprod-openai-1...a3f2gpt-4oprimary
OpenAIprod-openai-2...7d9egpt-4ofallback
Anthropicprod-anthropic...k4m1claude-sonnet-4-20250514primary
Fallback chain
prod-openai-1→prod-openai-2→prod-anthropic(cross-provider)
[FALLBACK TRACE]req_8f3a2b · 2 retries · resolved via cross-provider
429POST /v1/chat/completions→OpenAI(prod-openai-1)12msrate_limited
503POST /v1/chat/completions→OpenAI(prod-openai-2)8msserver_error
200POST /v1/messages→Anthropic(prod-anthropic)847ms✓
[Key features]
  • +API-Keys für OpenAI, Anthropic, Gemini und Azure speichern und verwalten
  • +Same-Provider-Fallback — bei Fehlern durch mehrere Keys rotieren
  • +Cross-Provider-Fallback — von OpenAI zu Anthropic oder jeder Kombination wechseln
  • +Automatische Request/Response-Übersetzung zwischen Provider-Formaten
  • +Auslösung bei 401, 408, 429 und 5xx-Fehlern — 400er werden übersprungen
  • +Volle Trace-Sichtbarkeit — jeden Fallback-Versuch im Dashboard sehen
  • +Zero-Data-Modus-kompatibel — Fallback funktioniert ohne Request-Speicherung
  • +Kombinierbar mit PII-Schwärzung, Evals und Kosten-Tracking auf dem gleichen Hot Path

Ihren ersten Trace in unter 60 Sekunden sehen

npm install @grepture/sdk — Client wrappen — fertig.

Kostenlos für bis zu 1.000 Anfragen/Monat · Keine Kreditkarte erforderlich

Kostenlos starten