Nova3D

Was ist Nova3D?

Nova3D ist ein Open-Source-Client für nova3d.xyz, der 3D-Assets als ausführbare Konstruktionsprozeduren statt als einzelnes, zusammengeführtes Mesh erzeugt. Er produziert Blender-native Python-Skripte und liefert ein strukturiertes GLB, bei dem Teile benannt und separat adressierbar sind.

Der Kernzweck dieses Clients besteht darin, standardmäßig mit der gehosteten Nova3D-Pipeline zu verbinden, damit du bearbeitbare, teilbasierte 3D-Ausgaben aus Textprompts oder Referenzbildern generieren kannst.

Wichtige Funktionen

• Bearbeitbare, teilbasierte 3D-Ausgaben: Die Pipeline erzeugt ein strukturiertes GLB mit benannten, separat adressierbaren Teilen, das für gezielte Bearbeitungen konzipiert ist (z. B. Änderung eines Teils ohne Neugenerierung von allem).
• Skript-native Generierung (Prompt-to-Code / Image-to-Code): Statt diffusion-basierter „Image-to-3D“-Methoden, die ein einzelnes zusammengeführtes Mesh liefern, erzeugt Nova3D Blender-Python-Skripte, die die Konstruktionsprozedur darstellen.
• Verwendung des Blender-Szenengrafs als native Darstellung: Der Client passt sein Ausgabemodell an den Blender-Szenengraf an, der eine logische Hierarchie und Szenen-Editing-Workflows unterstützt.
• Modell/LLM-agnostischer Client-Workflow: Der Generierungs-Harness kann via Einstellungen zwischen LLM-Backends wechseln (z. B. Claude 3.5, GPT-4o oder Gemini 1.5 Pro), wobei Validierung/Ausführung durch die Pipeline erfolgt.
• Integrierter Web-Viewport-Editor: Enthält einen eingebauten Three.js-Editor mit Transform-Tools, Snapping und Material-Bearbeitung.
• Referenzbild-Führung: Ermöglicht das Anhängen eines Fotos, um die räumliche Logik des generierten Skripts zu lenken.
• Lokales Caching im Browser: Modelle werden im Browser gecacht, sodass du deine Historie auch nach Ablauf ferner URLs ansehen kannst.

So verwendest du Nova3D

1. Client lokal starten: Repository klonen, Abhängigkeiten installieren (flutter pub get) und lokales Web-UI starten.
   • Der Quick-Start weist darauf hin, dass Port 5555 für OAuth-Redirect-Autorisierung erforderlich ist.
2. Anmelden: Lokale URL öffnen und mit Google oder E-Mail anmelden.
3. API-Schlüssel in Einstellungen hinzufügen: Der Client unterstützt API-Schlüssel für OpenAI, Anthropic oder Gemini.
4. Eingabe angeben und generieren: Prompt eingeben (optional Referenzbild anhängen) und Generierungsflow starten.
5. Ergebnisse bearbeiten und prüfen: Integrierten Viewport-Editor für Transform/Snapping/Material-Bearbeitung nutzen und auf lokales Caching für frühere Generierungen zurückgreifen.

Für den Deployment eines Production-Builds für statisches Hosting enthält das Repository einen Befehl zum Erstellen der Flutter-Web-App (flutter build web --release).

Anwendungsfälle

• Bearbeitbare Asset-Generierung für hierarchiebasierte Workflows: 3D-Modelle erzeugen, bei denen Teile benannt und verparentet sind, damit du einzelne Komponenten anpassen kannst, ohne das gesamte Ergebnis neu zu generieren.
• Prompt- oder fotogeführte 3D-Ideenfindung: Textprompts oder Referenzbilder anhängen, um die räumliche Logik der generierten Konstruktionsskripte zu beeinflussen.
• Material-Iteration mit PBR-orientiertem Mapping-Workflow: Mit Ausgaben arbeiten, die Material-Mapping statt gebackener Vertex-Farben unterstützen.
• Schnelle Überprüfung und Anpassung im Browser: Integrierten Three.js-Viewport-Editor (Transform-Tools, Snapping und Material-Bearbeitung) nutzen, ohne den Client zu verlassen.
• Lokales Durchstöbern früherer Generierungen: Browser-Caching nutzen, um Ansichts-Historie auch bei abgelaufenen Remote-URLs zu behalten.

FAQ

• Erzeugt Nova3D ein einzelnes zusammengeführtes Mesh? Nein. Die Pipeline erzeugt ein strukturiertes GLB mit separat adressierbaren Teilen, generiert aus Blender-nativen Python-Skripten.

• Kann ich verschiedene LLM-Provider nutzen? Ja. Der Client ist modell-agnostisch, mit Einstellungen zum Wechseln zwischen Backends wie Claude 3.5, GPT-4o oder Gemini 1.5 Pro.

• Welche lokale Einrichtung ist für die Anmeldung nötig? Der Quick-Start weist darauf hin, dass Port 5555 erforderlich ist für OAuth-Redirect-Autorisierung, und warnt speziell, dass localhost:5555 bei Google Sign-In aufgrund von OAuth-Origin-Richtlinien fehlschlagen kann.

• Wohin sendet der Client Generierungsanfragen standardmäßig? Standardmäßig kommuniziert er mit der gehosteten nova3d.xyz-API. Ein benutzerdefinierter Backend kann via --dart-define mit API_BASE_URL angesprochen werden.

• Gibt es eine Möglichkeit, die Generierung mit einem Bild zu beeinflussen? Ja. Der Client unterstützt Referenzbilder, damit du ein Foto anhängen kannst, um die räumliche Logik des generierten Skripts zu lenken.

Alternativen

• Image-to-3D-Diffusionstools, die ein einzelnes zusammengeführtes Mesh ausgeben: Diese konzentrieren sich auf ein konsolidiertes Geometrieergebnis, was sich von den teilbasierten, bearbeitbaren Ausgaben von Nova3D unterscheidet.
• OpenSCAD/CSG-ähnliche Systeme für Festkörpermodellierung: Ansätze dieser Kategorie priorisieren oft manifolde Festkörper, opfern aber Flexibilität bei organischen Formen sowie detaillierte Hierarchie- und Materialbearbeitbarkeit.
• Prompt-to-CAD- oder prozedurale CAD-Tools: Wenn Ihr Hauptziel bearbeitbare prozedurale Konstruktionen sind, suchen Sie nach Tools mit skript- oder parametrischen Workflows statt rein generativen Mesh-Ausgaben.
• Eigenständige 3D-Modellierungs-/Bearbeitungstools mit importierbaren prozeduralen Ergebnissen: Für Workflows mit Blender oder anderen DCC-Tools können Sie Nova3D als Generierungsschritt nutzen und Ausgaben dann in einer Modellierungsumgebung verfeinern – der wesentliche Unterschied liegt jedoch in den Blender-nativen Skripten und der teilbasierten GLB-Struktur von Nova3D.