Jede KI-Antwort automatisch bewerten.

LLM-as-a-Judge-Bewertung auf dem Traffic, den du ohnehin protokollierst. Template wählen oder eigene Kriterien schreiben, ohne zusätzliche Instrumentierung.

app.grepture.com/evals
EvaluatorAvgStatus
Helpfulness
0.84on
Hallucination
0.91on
Tone and brand
0.62on
Safety
0.98off
Recent scores
  • 0.90Helpfulness2s ago
  • 1.00Hallucination2s ago
  • 0.70Helpfulness8s ago
  • 0.40Tone and brand12s ago
Judge prompt

Rate the response from 0 to 1 for helpfulness. Does it answer {{request}} directly? Is {{response}} accurate and concise?

Was es tut

Grepture Evals bewertet deine KI-Ausgaben mit einem Richter-Modell. Da Grepture jeden Request und jede Response bereits protokolliert, laufen Bewertungen auf bestehendem Traffic. Definiere, was gut bedeutet, und jede Stichprobe erhält einen Score von 0 bis 1 mit Begründung.

Wie es funktioniert

Erstelle einen Evaluator aus einem Template (Relevanz, Hilfsbereitschaft, Toxizität, Prägnanz, Instruktionsbefolgung, Halluzination) oder schreib einen eigenen Richter-Prompt. Setze Filter und Abtastrate. Ein Hintergrund-Worker bewertet deinen Traffic und speichert die Begründung. Ergebnisse siehst du pro Log, pro Evaluator oder als Trend.

Qualität, die du messen kannst, auf echtem Traffic.

  • Keine eigene Pipeline

    Evaluierungen laufen auf dem Traffic, den Grepture ohnehin protokolliert, ohne zusätzliche Instrumentierung.

  • Sechs Vorlagen oder eigene

    Relevanz, Hilfsbereitschaft, Toxizität, Prägnanz, Befolgen von Anweisungen, Halluzination oder ein eigener Judge-Prompt.

  • Scores mit Begründung

    Jede Stichprobe erhält einen Score von 0 bis 1 und die Begründung des Judge-Modells.

  • Keine zusätzliche Latenz

    Ein Hintergrund-Worker bewertet, Anfragen werden nie langsamer.

Was enthalten ist

  • Sechs Templates: Relevanz, Hilfsbereitschaft, Toxizität, Prägnanz, Instruktionsbefolgung, Halluzination
  • Eigene Evaluatoren mit individuellen Richter-Prompts
  • Filter nach Modell, Provider, Prompt oder Statuscode
  • Abtastrate von 1 bis 100 %
  • Score auf jedem Traffic-Log-Eintrag
  • Trends, Durchschnitte und Aufschlüsselung pro Evaluator
  • Läuft im Hintergrund, ohne zusätzliche Proxy-Latenz
  • Prompt-Versionen in A/B-Tests nach Score vergleichen

Deine erste saubere Anfrage in fünf Minuten.

Gratis für 1.000 Anfragen im Monat. Keine Kreditkarte, kein Vertriebsgespräch.