Wie man einem neuronalen Netz einen Code-Wall als Bild füttert und 60% seines Token-Budgets spart

Ich habe kürzlich festgestellt, dass wir uns daran gewöhnt haben, Kontextfenster von Sprachmodellen ausschließlich als Text zu behandeln. Man sendet eine Datei mit 50.000 Zeichen und bezahlt für 12–15.000 Text-Tokens. Wenn man Claude Code oder Cursor stundenlang laufen lässt, wird der Kontext ständig mit Systemanweisungen, Tool-Dokumentation und Befehlsausführungs-Logs aufgefüllt. Die API-Rechnung am Monatsende wird zunehmend unangenehm.

Die Entwickler hinter dem Projekt pxpipe haben eine interessante Lücke in der modernen Preisgestaltung multimodaler Modelle entdeckt. Die Kosten eines Bildes in Tokens hängen nur von seiner physischen Auflösung in Pixeln ab, nicht davon, wie viel Text darauf gezeichnet wird. Wenn man dichten Text in einen kompakten Screenshot mit kleiner Schrift komprimiert, kann ein Bild-Token ungefähr 3–5 mal mehr Zeichen enthalten als ein Standard-Text-Token.

Und so entstand die Idee eines lokalen Proxy-Servers – eines, das schwere Teile einer Anfrage unterwegs in monochrome PNG-Seiten umzeichnet, bevor sie an Anthropic oder OpenAI gesendet werden.

Wie dieser Trick funktioniert

Im Textformat werden dichte Daten wie JSON, Datenbank-Dumps oder Code mit einer Rate von ungefähr einem Zeichen pro Token verarbeitet. Moderne Modelle wie Claude 3.5 Sonnet, Claude Opus oder Gemini erkennen Rasterbilder hingegen hervorragend durch ihre eingebauten Vision-Module.

Das pxpipe-Tool fängt ausgehende API-Anfragen auf Ihrem Rechner ab und teilt unhandlichen Kontext in dichte Bilder mit einer benutzerdefinierten Monospace-Schrift (zum Beispiel Spleen 5×8 oder JetBrains Mono) auf.

Statt 25.000 Tokens Rohtext für den System-Prompt und die Tool-Beschreibungen erhält das Modell nur ein paar Bilder mit einem Gewicht von nur 2.700 Tokens. Für ein Kontextfenster von 1 Million Tokens erhöht dies die tatsächliche Zeichenkapazität nahezu um das Fünffache: von 4 Millionen Zeichen auf 19–21 Millionen.

Was komprimiert wird und was als Text bleibt

Wenn man das gesamte Dialog in ein Bild umwandelt, wird das Modell zwangsläufig Fehler bei präzisen Bezeichnern machen. Die pxpipe-Entwickler haben dies berücksichtigt, daher funktioniert die Komprimierung selektiv:

1. Große Tool-Ausführungsergebnisse. Wenn Konsolenbefehlsausgaben, Test-Logs oder eine gelesene Datei 6.000 Zeichen überschreiten, werden sie in PNG konvertiert.
2. Alte Nachrichtenverläufe. Frühe Schritte in einer langen Sitzung werden in Archivseiten gepackt.
3. Schwere System-Prompts und MCP-Tool-Spezifikationen. Sie werden gecacht und als Grafikseite gesendet.

Die neuesten Antworten des Benutzers, frische Modellantworten und kurze Textausschnitte werden in ihrer ursprünglichen Textform unverändert übertragen. Das Modell sieht aktuelle Bearbeitungen Byte für Byte.

Schnellstart und Verbindung zu Agents

Sie können das Tool ohne permanente Installation über npx ausführen. Es startet einen lokalen Server auf Port 47821:

npx pxpipe-proxy

Anschließend zeigen Sie einfach Claude Code auf die lokale Adresse:

ANTHROPIC_BASE_URL=http://127.0.0.1:47821 claude

Wenn Sie sich nicht mit Umgebungsvariablen herumschlagen möchten, enthält das Repository einen Wrapper-Befehl warp. Er leitet Netzwerkaufrufe für einen bestimmten Prozess weiter:

pxpipe warp -- claude
# либо для других агентов
pxpipe warp -- cursor-agent

Zusammen mit dem Proxy startet ein Web-Dashboard unter http://127.0.0.1:47821/. Es zeigt gesparte Dollars in Echtzeit, die Anzahl der gekürzten Tokens und eine Vorschau jeder generierten Seite neben dem Originaltext.

Export ohne Server-Start

Wenn Sie keinen Proxy benötigen, aber eine massive Codebasis oder einen Git-Diff in eine Chat-Web-Oberfläche mit Bildunterstützung einspeisen möchten, können Sie den Export-Modus verwenden:

npx pxpipe-proxy export src/
cat logs.txt | npx pxpipe-proxy export --stdin
npx pxpipe-proxy export --git

Der Befehl erstellt einen Ordner mit sofort verwendbaren page-*.png-Dateien, einer kurzen Datei mit wichtigen Entitäten factsheet.txt und einem Prompt zum Einfügen in das Dialogfenster.

Die Kehrseite der Medaille und ehrliche Einschränkungen

Der Ansatz sieht aus wie Schummeln, aber er hat unvermeidliche physikalische Grenzen. Die Entwickler listen sie direkt in der Dokumentation auf:

• Genauigkeitsverlust bei Hashes und IDs. Das LLM-Vision-Modul arbeitet durch Embedding-Patches, nicht durch klassisches OCR mit Zeichen-für-Zeichen-Wahrscheinlichkeit. Wenn nicht genügend Pixel pro Buchstabe vorhanden sind, erfindet das Sprachmodell einfach ein plausibles Zeichen. In den Tests der Autoren lag die exakte Übereinstimmung von 12-stelligen Hex-Strings auf Fable 5 bei 13 von 15, und bei einigen Modellen fiel sie auf Null. Kritische Bezeichner sollten besser als Text belassen werden.
• Render-Verzögerung. Bevor eine große Anfrage gesendet wird, verbringt der Prozessor mehrere hundert Millisekunden mit der Generierung von PNG-Puffern im Speicher.
• Der Nutzen hängt von der Inhaltsdichte ab. Die Einsparungen sind maximal bei Code, Stack-Traces und JSON-Strukturen. Bei normalem Gesprächstext in natürlicher Sprache ist der Gewinn minimal oder gar nicht vorhanden, weil in normalem Text ein Token bereits etwa 3–4 Zeichen enthält.

Für wen das Projekt jetzt nützlich sein wird

Wenn Sie regelmäßig autonome Coding-Agents verwenden, Benchmarks ausführen oder dem Modell Multi-Megabyte-Build-Logs füttern, amortisiert sich pxpipe vom ersten Tag an. Bei langen Debugging-Sitzungen sinkt die tägliche Rechnung von 40 $ auf 6–7 $, während die Gesamtlognik des Agent-Betriebs erhalten bleibt.

Sie können das Tool in ein paar Minuten ausprobieren, und für den ersten Test müssen Sie nicht einmal etwas aus dem Quellcode bauen. Alle Token-Statistiken werden sauber vom Tool in einem lokalen Log ~/.pxpipe/events.jsonl gespeichert, sodass Sie den echten Nutzen für Ihre Aufgaben leicht mit dem pxpipe stats-Tool verifizieren können.