NanoGPT im Ueberblick
NanoGPT ist eine Multi-Modell-AI-Plattform: ein Interface vor dutzenden LLMs aus OpenAI, Anthropic, Google, Mistral und dem Long Tail der Open-Source-Modelle. Nutzer waehlen das gewuenschte Modell, tippen einen Prompt, und NanoGPT routet den Request an den jeweiligen Upstream — abgerechnet per Krypto.
Das Problem
Jeder NanoGPT-Request fliesst hinaus zu einem Drittanbieter-Modell, das der Nutzer gewaehlt hat — das ist das Produkt, und gleichzeitig die Risikoflaeche. Kundendatensaetze in einem Support-Summarizer. AWS-Keys in einem Code-Review-Tool. Ein Stack-Trace mit internen Hostnamen in einem Debug-Assistenten. Jeder dieser Payloads verlaesst NanoGPTs Perimeter in dem Moment, in dem der Nutzer auf Senden drueckt — und landet an einem Ort, den NanoGPT im Auftrag des Nutzers nicht auditieren kann.
Diese Form ist nicht NanoGPT-spezifisch. Jedes Produkt, das Nutzer vor ein grosses Sprachmodell setzt — ein Chat-UI, einen Aggregator, ein AI-Coding-Tool, einen internen Copilot — hat dasselbe Problem, das die Modell-Anbieter selbst nicht haben: Nutzer fuegen Dinge ein, die sie nicht einfuegen sollten, an Anbieter, die du nicht kontrollierst.
NanoGPTs CEO und Co-Gruender Milan de Reede fasst das zugrundeliegende Verhalten in ihrem eigenen Beitrag zusammen:
"People paste a lot into AI tools: support tickets, logs, stack traces, emails, internal notes, customer records, code, config files."
Und Nutzern zu sagen, sie sollen vorsichtig sein, skaliert nicht:
"Telling everyone to 'just be careful' does not scale. Even careful users miss things."
Warum ein Proxy, keine Library
Der naheliegende erste Reflex ist eine clientseitige Regex. Das funktioniert fuer zehn Muster — und bricht in dem Moment, in dem ein Nutzer etwas einfuegt, das die Regex nicht kennt, oder du einen zweiten Modell-Anbieter onboardest, oder das Marketing einen "Redaktions-Report" verlangt.
NanoGPT hat sich fuer Grepture entschieden, weil wir an genau der Schicht sitzen, an der jeder Prompt ohnehin vorbeimuss:
"Built for this exact point in the AI stack: the request path between your app and the model."
Der Request-Pfad laeuft so:
User → NanoGPT → Grepture → Model → Grepture → NanoGPT → User
Daraus fallen zwei wichtige Eigenschaften:
- Provider-agnostisch. Jedes Modell, das NanoGPT unterstuetzt — OpenAI, Anthropic, Google plus der Long Tail — bekommt dieselbe Redaktions-Policy ohne Provider-spezifischen Code. Das Aggregator-Muster verstaerkt den Wert: eine Integration, dutzende Upstreams abgedeckt.
- Reversible Redaktion. Ein naiver Scrubber ersetzt "Sarah Chen" durch
[NAME]und das Modell verliert den Gespraechsfaden. Grepture tokenisiert den Wert, laesst das Modell ueber den Platzhalter argumentieren und stellt das Original im Response-Stream wieder her. Der Nutzer sieht seine eigenen Daten zurueck; das Modell hat sie nie gesehen.
NanoGPT laeuft auf Greptures EU-Infrastruktur mit Zero-Data-Modus — Token-Mappings leben fuer die Request-Dauer im Speicher (TTL 1 Stunde fuer Response-Restore) und werden nie auf Disk geschrieben.
Wer hat genau dieses Problem noch
NanoGPT war frueh dran, das ernst zu nehmen, aber das zugrundeliegende Muster wiederholt sich quer durchs AI-Oekosystem:
- BYOK-Aggregatoren wie NanoGPT selbst — Nutzer routen an viele Modelle, die ihnen nicht gehoeren.
- Enterprise-ChatGPT-Wrapper — Unternehmen, die ein Grepture-aehnliches Gateway zwischen Mitarbeiter und die oeffentlichen LLMs setzen, die ohnehin schon genutzt werden.
- Multi-Provider-AI-Produkte — Apps, die Claude fuers Reasoning, GPT-4 fuer Code und Gemini fuer Vision mischen, alles unter einer UI.
- Agent-Orchestrierungs-Plattformen — Workflows, die einen einzigen Nutzer-Input auf mehrere Modell-Calls auffaechern und die Leak-Oberflaeche vervielfachen.
Wenn dein Produkt Endnutzer hat, die in eine Box tippen, die am Ende ein Modell erreicht, das du nicht betreibst, hast du dasselbe Risiko, das NanoGPT geloest hat. Der Fix ist derselbe: einen redaktionsfaehigen Proxy davorsetzen, ihn als Infrastruktur behandeln, nicht als Feature.
Ausprobieren
Der schnellste Weg, das in Aktion zu sehen, ist derselbe, den NanoGPT genommen hat: deine bestehenden Modell-Calls auf den Grepture-Proxy zeigen, die gewuenschten Regeln konfigurieren und den Traffic-Log beobachten. Wir haben einen Free-Tier zum Evaluieren und einen Business-Plan, der NanoGPTs Setup spiegelt.
Oder lies NanoGPTs eigenen Bericht — sie gehen tiefer auf die Failure Modes ein, auf die sie geachtet haben, und darauf, was sie ueberzeugt hat, Redaktion als First-Class-Opt-in fuer Nutzer mit sensiblen Prompts anzubieten.