>_ DevTrendszh

语言

首页

语言

板块

前端 后端 移动端 DevOps AI / ML 游戏开发 区块链 嵌入式 安全
JavaScript

如何使用 3DGenStudio 在单一窗口中构建 3D 模型生成管线

使用 AI 创建 3D 资产仍然像是用不同套件的零件组装一个模型。首先在 ComfyUI 中生成图像,然后将其拖拽到 Tripo 等第三方服务以获取三维网格。接下来打开 Blender 修复几何体或展开 UV,再回到神经网络处理纹理。在五个窗口之间频繁导入导出很快就会让人疲惫不堪。

一位用户名为 visualbruno 的开发者决定整合这些步骤。他的项目 3DGenStudio 将可视化管线管理、内置网格文件编辑器和直接的 ComfyUI 集成整合到单一工作空间中。

3DGenStudio 看板

为什么需要独立的 Studio 界面

3DGenStudio 的核心理念是消除文件、渲染变体和工作流设置中的混乱。与其使用一堆类似 mesh_final_v2_fixed.glb 这样的文件夹名称,不如获得一个可视化开发环境,在这里可以看到对象从第一个文本提示到带有动画的最终模型的完整路径。

该项目是本地化的。所有源文件、纹理和网格版本都保存到你的磁盘上。不依赖第三方云服务,数据可以轻松推送到 Git。

项目两种工作模式

在应用内部,你可以在两种视图之间切换。

看板

你可以将对象的卡片推进标准列:图像生成、图像处理、3D 网格创建、几何体优化、纹理化。在每个阶段,所需的 ComfyUI 脚本或外部 API 可以直接从卡片启动。

节点图

如果你更喜欢图形化地查看连接,图形会显示特定网格是从哪张具体图像生成的。点击节点会打开生成参数,你可以在其中立即更改设置并重新运行该过程。

内置 3D 编辑器,就在浏览器中

该项目的主要惊喜是基于 Three.js 的内置编辑器。它并不是要取代 Blender,而是用于快速微调神经网络的结果。

MeshEditor 中的修复功能

编辑器可以做什么:

  • 自动 UV 展开和重新拓扑。神经网络网格通常会产生一团多边形。内置脚本可以清理展开的边缘并将网格重建为更整洁的外观。
  • 自动绑定。该功能基于 SkinTokens 库构建骨架并绑定蒙皮权重。
  • 纹理投影和修复。你可以旋转模型到所需角度,用蒙版绘制问题区域,然后将帧发送到 ComfyUI。神经网络会填充该片段,编辑器会将完成的片段投影回 3D 对象。
  • 基本雕刻和绘制。有熟悉的画笔用于平滑、构建形体和局部纹理化。

直接与 ComfyUI 集成

3DGenStudio 可以直接与 ComfyUI 通信。你不需要手动传输提示词或重新加载蒙版。应用将所需参数发送到 ComfyUI API,检索生成结果,并将其作为子版本附加到当前卡片。

ComfyUI 集成

如果你使用 Tripo AI 或腾讯云等云服务,这些也可以通过外部 API 端点连接。

技术栈与启动

该项目由三部分组成:

  • 前端:React、Vite、Three.js (@react-three/fiber)。
  • 后端:Node.js、Express、SQLite。
  • Python 服务器:处理繁重的 3D 处理、重新拓扑和自动绑定。

要启动,你需要安装 Node.js、运行中的 ComfyUI 和 Python 环境。

之后,打开 http://localhost:3001 并在设置中指定你的 ComfyUI 地址。

总结

在撰写本文时,3DGenStudio 在 GitHub 上刚刚超过 400 颗星。然而,从 CHANGELOG 来看,作者几乎每天都在更新项目,添加新工具如 Flux 模型支持、Sam3.1 集成和网格优化器。

优点:

  • 将分散的 3D 生成工具链接成清晰的工作流。
  • 自动化 UV 展开、重新拓扑和绑定的常规操作。
  • 所有文件都存储在本地。

缺点:

  • 需要同时部署和维护多个服务(Node.js、Python、ComfyUI)。
  • 基于浏览器的编辑器尚无法替代功能完整的 3D 软件包进行复杂建模。

如果你正在使用神经网络为游戏或独立项目组装资产,尝试 3DGenStudio 显然值得一试。该项目在生成和导出到引擎之间的常规操作上节省了大量时间。

相关项目