Von PII-Redaktion zum AI Gateway — Warum wir Grepture erweitern

Wir haben damit begonnen, sensible Daten abzufangen, bevor sie ein LLM erreichen. Jetzt bauen wir ein einheitliches AI Gateway mit Prompt-Management, Tracing, einer Browser-Extension und einer CLI — hier ist warum.

Es begann mit einem Proxy

Grepture startete mit einer einfachen Idee: zwischen deiner App und dem LLM sitzen, sensible Daten abfangen, bevor sie dein Netzwerk verlassen. PII-Redaktion zur Request-Zeit. Keine SDK-Callbacks, kein nachträgliches Scannen — einfach ein Reverse Proxy, der jeden Prompt und jede Antwort inspiziert, während sie durchfließen.

Dieser Kern existiert noch, und er ist nach wie vor wichtig. Aber wenn du einmal im Hot Path jedes AI-Calls bist, erkennst du etwas Größeres. Jeder Prompt, jede Antwort, jeder Token fließt bereits durch dich. Die Frage war nicht mehr „Was sollten wir noch blockieren?", sondern „Was können wir hier noch alles tun?"

Die Antwort ist: eine ganze Menge.

Warum der Hot Path entscheidend ist

Es gibt ein wachsendes Ökosystem an AI-Observability-Tools — Langfuse, Helicone, LangSmith und andere. Sie sind gut in dem, was sie tun: dir Einblick in deine AI-Pipeline geben, nachdem Requests gemacht wurden. Wenn du Tracing, Evaluation und Prompt-Analytik brauchst, bist du dort gut aufgehoben.

Grepture verfolgt einen anderen Ansatz. Wir beobachten nicht von der Seitenlinie — wir sind im Request-Pfad selbst. Das bedeutet, wir können alles tun, was ein Observability-Tool kann (loggen, tracen, messen), aber wir können auch handeln. Eine Kreditkartennummer schwärzen, bevor sie bei OpenAI ankommt. Einen Request blockieren, der eine Prompt-Injection-Regel auslöst. Einen verwalteten Prompt ausliefern statt den, der im Repo hardcoded ist. Traffic basierend auf Inhalt an ein anderes Modell routen.

Das ist nicht besser oder schlechter als reine Observability — es ist eine andere architektonische Entscheidung. Aber wir glauben, es ist die richtige Grundlage für ein einheitliches AI Gateway, denn Beobachtung allein gibt dir keine Kontrolle.

Was neu ist

Wir haben geliefert. So sieht Grepture heute aus — über PII-Redaktion hinaus.

Prompt-Management

Prompts sollten nicht als Strings verstreut in deiner Codebase leben. Mit Grepture kannst du Prompts über das Dashboard speichern, versionieren und ausliefern. Aktualisiere einen System-Prompt ohne Redeployment. Roll zurück, wenn etwas schiefgeht. Sieh, welche Version eines Prompts welche Antworten erzeugt hat.

Das macht Prompts zu einer verwalteten Ressource — etwas, an dem dein Team iterieren kann, ohne Deploy-Zyklus und ohne dass jeder Zugriff auf das Repo braucht.

Tracing

Jeder Request, der durch Grepture fließt, wird mit vollem Kontext geloggt: der gesendete Prompt, die erhaltene Antwort, Token-Anzahl, Latenz, Kosten und welches Modell ihn verarbeitet hat. Verknüpfe Multi-Turn-Konversationen mit Trace-IDs. Filtere nach Modell, nach Kosten, nach Zeitraum.

Das ist die Art von Sichtbarkeit, für die du normalerweise ein separates Observability-Tool einrichten würdest. Weil wir bereits im Pfad sind, bekommst du es kostenlos dazu — kein zusätzliches SDK, keine weitere Integration.

Browser-Extension — Shadow AI bekämpfen

Hier ist ein Problem, das kein Proxy allein lösen kann: Mitarbeiter, die sensible Daten direkt im Browser in ChatGPT, Claude und andere AI-Chat-Interfaces einfügen. Kein API-Call, kein Proxy dazwischen, kein Audit-Trail.

Wir haben Grepture Browse gebaut — eine Chrome-Extension, die PII und Secrets in Echtzeit erkennt, während Nutzer in AI-Chat-Eingabefelder tippen. Sie zeigt an, was sie findet, und lässt Nutzer vor dem Senden schwärzen. Im Free-Tier nutzt sie lokale Regex-Muster. Im Pro-Tier verbindet sie sich mit den Grepture-Regeln deines Teams, sodass dieselben Richtlinien, die deinen API-Traffic schützen, auch browserbasierte AI-Nutzung absichern.

Shadow AI ist eines der schwierigsten Probleme bei der Enterprise-AI-Adoption. Wir glauben, dass der richtige Ansatz ist, dort anzusetzen, wo die Daten tatsächlich in diese Tools eingegeben werden — im Browser.

CLI (demnächst verfügbar)

Wir bauen eine CLI, mit der Entwickler AI-Traffic aus ihrer lokalen Umgebung über Grepture proxyen und inspizieren können. Stell es dir als dein lokales AI-Dev-Tool vor: Sieh genau, was dein LLM empfängt, teste Regeln gegen echten Traffic, debugge Prompts — alles vom Terminal aus.

Das Ziel ist, Grepture zum Teil des Entwickler-Workflows zu machen, nicht nur der Produktionsinfrastruktur. Wir wollen dieselbe Sichtbarkeit und Kontrolle, die du in Produktion bekommst, auch auf deinem Laptop verfügbar machen, während du entwickelst.

Warum „einheitliches AI Gateway" Sinn ergibt

AI-Nutzung ist fragmentiert. Dein Backend ruft OpenAI auf. Deine RAG-Pipeline nutzt Anthropic. Dein Support-Team verwendet ChatGPT im Browser. Dein Data-Team experimentiert lokal mit Gemini. Jeder Berührungspunkt ist eine andere Integration, ein anderer Satz Logs, ein anderer blinder Fleck.

Wir glauben, es sollte eine Schicht geben, die all das sieht und kontrolliert. Ein Ort, um Prompts zu verwalten, Richtlinien durchzusetzen, Konversationen zu tracen und Kosten zu verfolgen — unabhängig davon, welches Modell oder welches Interface genutzt wird.

Das meinen wir mit AI Gateway. Kein aufgehübschter Load Balancer, sondern eine echte Control Plane dafür, wie deine Organisation AI einsetzt.

Open Source im Kern

Greptures Proxy ist Open Source und self-hostable. Wir glauben, dass das, was zwischen deiner App und deinem LLM sitzt, auditierbar und transparent sein sollte — du solltest keiner Black Box mit jedem Prompt vertrauen müssen, den du sendest.

Wir möchten den Open-Source-Anteil mit der Zeit erweitern. Der Core-Proxy, die Detection Engine und das SDK sind heute verfügbar. Während das Produkt wächst, wollen wir, dass mehr davon offen ist.

Worauf wir hinarbeiten

Wir versuchen nicht, alles für jeden zu sein. Wir bauen ein Produkt, das Entwickler wirklich nutzen wollen — keine Compliance-Checkbox, die man installiert und vergisst. Die Sicherheit und der Datenschutz, mit denen Grepture gestartet ist, sind nach wie vor da und ein zentraler Teil des Produkts. Aber jetzt sind sie eine Fähigkeit innerhalb von etwas Größerem.

Wenn du mit LLMs baust, würden wir uns freuen, wenn du Grepture ausprobierst. Binde das SDK ein, leite deine API-Calls durch den Proxy und sieh, wie dein AI-Traffic tatsächlich aussieht. Es dauert etwa fünf Minuten.