上次和大家分享了一个图片转3D模型的应用Wonder3D《图片转3D模型软件Wonder3D++整合包,AI一键生成3D模型工具》,不少人对这类应用挺感兴趣的,今天再和大家分享另一个非常热门的,微软发布的复杂高品质的图片转3D资产应用TRELLIS。我制作了最新版的一键启动整合包,让大家省去安装部署耗时更快速的上手体验TRELLIS。
TRELLIS软件介绍
TRELLIS是微软联合国内大学开源的一款将图片转换成3D模型资产的应用,一种基于统一的结构化潜在表示和整流流变换器的原生3D生成模型,可实现多功能和高质量的3D资产创建。
我们介绍了一种新颖的3D生成方法,用于创建多功能、高质量的3D资产。基石是统一的结构化LATT(SLAT)表示,它允许解码为不同的输出格式,如辐射场、3D高斯和网格。这是通过将稀疏的3D网格与从强大的视觉基础模型中提取的密集多视图视觉特征集成在一起来实现的,全面捕获结构(几何)和纹理(外观)信息,同时在解码过程中保持灵活性。
我们采用为SLAT量身定制的整流流量变换器作为我们的3D生成模型,并在50万个不同对象的大型3D资产数据集上训练多达20亿个参数的模型。我们的模型在文本或图像条件下生成高质量的结果,大大超越了现有的方法,包括最近在类似尺度上的方法。我们展示了灵活的输出格式选择和本地3D编辑功能,这是以前型号所没有的。代码、模型和数据将被发布。
可以实现文本转3D、图片转3D(目前只开放此模型)、3D资产再编辑
论文说明:https://trellis3d.github.io
TRELLIS一键启动整合包使用说明
和Wonder3D一样,使用前先部署本地开发环境,先安装Visual Studio 2022,下载链接:https://visualstudio.microsoft.com/zh-hans/downloads/。勾选使用C++的桌面开发,然后点击右下角安装按钮开始安装
Visual Studio安装完成后需要将编译工具cl.exe路径添加到系统环境变量path中,
路径一般为:你的Microsoft Visual Studio安装目录\2022\Community\VC\Tools\MSVC\14.42.34433\bin\Hostx64\x64
然后安装12.4版本CUDA,CUDA安装教程可以看我另外一篇文章《Windows电脑安装CUDA及配置CUDNN环境详细教程》,注意安装12.4版本或更高的,只需要安装cuda无需配置CUDNN,全程默认安装即可,非常简单。
将TRELLIS软件压缩包下载到本地电脑并解压,这次我把模型文件也一起打包了,所以整个压缩包有点大。解压后双击【启动软件.exe】,启动时会先加载模型,稍等一会即可启动webUI界面,如遇报错可查看常见问题说明。
在左侧上传素材图片,图片最好是纯色背景的。然后点击【生成】按钮即可生成3D模型。生成过程所需时间由电脑配置决定。出现3D资产预览后可以点击GLB提取,生成GLB格式模型文件,然后点击右侧GLB下载可保存下来。点击高斯提取可生成ply格式文件。
在显存为12G的4070显卡电脑上测试,生成3D资产预览平均约25秒,生成最终的GLB模型文件平均约28秒。比Wonder3D生成速度还是快不少的,而且生成效果也是要好很多。
TRELLIS安装使用视频教程:https://nuowa.net/1636
注意事项
由于低端显卡性能较低生成时间较长,建议英伟达显卡30、40系列用户使用。
整合包只支持Windows 10或11系统
软件运行路径中不要有非英文字符和空格
使用前请先将英伟达显卡驱动更新到最新版本,否则可能会报错