Unreal Engine mit modernen neuronalen Netzen verbinden – ohne unnötige Schmerzen

Stellen Sie sich vor: Sie entwickeln ein Spiel und möchten einen NPC hinzufügen, der nicht nur drei vordefinierte Zeilen ausspuckt, sondern den Spieler tatsächlich versteht. Oder noch interessanter: Sie möchten, dass ein neuronales Netz Ihnen hilft, Levels direkt im Editor zu erstellen, indem es Requisiten basierend auf Textbeschreibungen platziert.

Normalerweise wird daraus eine Odyssee aus dem Schreiben von API-Wrappern, dem Kampf mit asynchronen Anfragen in C++ und dem Versuch, bei den alle zwei Wochen erscheinenden Modell-Updates nicht den Verstand zu verlieren. Das UnrealGenAISupport-Projekt vom Entwickler prajwalshettydev übernimmt diese Routinearbeit. Es ist ein Plugin, das Unreal Engine mit der Vielfalt moderner LLMs verbindet.

Worum es bei diesem Projekt geht

UnrealGenAISupport ist ein Open-Source-Plugin für UE-Versionen 5.4 bis 5.7, das die Arbeit mit OpenAI, Claude, DeepSeek, Google Gemini und sogar Elons Musks Grok an einem Ort zusammenführt. Der Autor hat sich offenbar zum Ziel gesetzt, ein „Schweizer Taschenmesser" für Spieldesigner zu schaffen, die generative KI schnell in ihre Projekte integrieren möchten.

Interessanterweise beschränkt sich das Projekt nicht auf einfachen Chat. Es enthält MCP-Unterstützung (Model Context Protocol), das es neuronalen Netzen ermöglicht, Ihr Projekt buchstäblich zu „sehen" und zu steuern.

Wichtige Funktionen, die einen Versuch wert sind

1. Editor-Steuerung über MCP

Dies ist wahrscheinlich der vielversprechendste Teil. Mit dem MCP-Protokoll können Sie Claude Desktop oder Cursor direkt mit einem laufenden Unreal-Editor verbinden. Die README enthält Beispiele, in denen das neuronale Netz Objekte spawnt, ihre Transformationen ändert, Materialien anwendet und sogar Blueprints generiert.

Natürlich gibt die Liste der bekannten Probleme ehrlich an, dass Knoten in Blueprints möglicherweise noch nicht korrekt verbunden sind und es kein Undo/Redo gibt. Aber für Prototyping oder die Automatisierung repetitiver Aufgaben – dies ist bereits ein funktionierendes Werkzeug.

2. DeepSeek- und „Reasoning"-Modell-Unterstützung

Alle sprechen gerade über DeepSeek R1 wegen seiner Fähigkeit, vor einer Antwort zu „denken". R1-Unterstützung ist bereits im Plugin enthalten. Der Entwickler warnt: Da diese Modelle lange brauchen, um zu antworten, funktionieren Unreals standardmäßigen 30-Sekunden-Timeouts nicht. Sie müssen die Konfigurationen in DefaultEngine.ini anpassen:

[HTTP]
HttpConnectionTimeout=180
HttpReceiveTimeout=180

3. Strukturierte Ausgaben

Wenn Sie möchten, dass das neuronale Netz nicht nur Text zurückgibt, sondern Daten, die das Spiel parsen kann (zum Beispiel Statistiken für einen neuen Gegenstand oder Koordinaten für das Spawnen von Feinden), unterstützt das Plugin JSON-Schemata. Sie geben dem Modell ein Schema, und erhalten saubere JSON-Ausgabe, die leicht in eine Datenstruktur innerhalb von UE konvertiert werden kann.

Das C++-Beispiel sieht sauber aus:

UGenAISchemaService::RequestStructuredOutput(
    TEXT("Сгенерируй список из 3 врагов для ледяной локации"),
    MySchemaJson,
    [](const FString& Response, const FString& Error, bool Success) {
       // Здесь парсим Response
    }
);

4. Multimodalität und 3D

In der kostenpflichtigen Pro-Version bietet der Autor Integration mit ElevenLabs (Sprache) und Meshy (3D-Modellgenerierung) an. Aber selbst in der kostenlosen Version gibt es genug Werkzeuge für den Einstieg: Vision-API-Unterstützung (Analyse von Spiel-Screenshots mit neuronalen Netzen) und grundlegende Funktionen für die Arbeit mit chinesischen Modellen wie Qwen, was für viele derzeit relevant ist.

Wie es unter der Haube funktioniert

Das Plugin ist in C++ geschrieben, aber maximal benutzerfreundlich für Blueprint-Enthusiasten. Fast alle Funktionen sind als Nodes verfügbar, sodass Sie einen KI-Agenten erstellen können, ohne auch nur eine Zeile Code zu schreiben.

Die Architektur ist einfach: Das Plugin zieht keine schweren externen Abhängigkeiten mit sich. Für MCP verwendet es einen kleinen Python-Server, der über Sockets mit dem Editor kommuniziert. Das bedeutet, Sie müssen Python Editor Script Plugin in Ihren Projekteinstellungen aktivieren.

Für wen ist das gedacht

Ich sehe zwei Hauptszenarien:

1. Für NPC- und Quest-Entwickler: Wenn Sie schnell eine Hypothese mit „intelligenten" Dialogen testen müssen, wird Ihnen dieses Plugin eine Woche Netzwerkschicht-Entwicklung ersparen.
2. Für Automatisierungswerkzeuge: Wenn Sie es leid sind, Tausende von Bäumen manuell zu platzieren oder repetitive Materialien zu erstellen, können Sie versuchen, dies Claude über MCP zu delegieren.

Persönliche Beobachtungen und Nuancen

Das Projekt ist aktiv, Updates erscheinen häufig, aber Sie müssen verstehen – dies ist keine fertige „Out-of-the-Box"-Lösung für die Veröffentlichung auf Steam. Es ist ein leistungsstarkes Entwicklungsframework.

Übrigens spricht der Autor ehrlich über Sicherheit: Hartcodieren Sie keine API-Schlüssel in Ihren Spiel-Build. Für Tests im Editor werden Schlüssel aus Umgebungsvariablen genommen (zum Beispiel PS_OPENAIAPIKEY), und für die Produktion müssen Sie Ihren eigenen Backend-Proxy einrichten, damit Spieler nicht Ihr OpenAI-Guthaben stehlen.

Wenn Sie schon lange LLMs in Unreal ausprobieren wollten, aber nicht wussten, von welcher Seite Sie die API angehen sollen – UnrealGenAISupport ist ein großartiger Ausgangspunkt.

Sie können sich den Code und die Beispiele im Repository ansehen: prajwalshettydev/UnrealGenAISupport Und für einen schnellen Einstieg gibt es ein Testprojekt, wo alles bereits konfiguriert ist.