Shap-E文本形成3D模型在医学成像中的运用

因为机械学习技术的迅速成长，近年来 3D 建模和设计行业获得了重要进展。 OpenAI 颁布了1个名为 Shap-E 的新工具，它应用隐式函数来高效地形成 3D 资产。 在这篇博文中，咱们将开拓 Shap·E 背后的方式，并分享 OpenAI 供应的代码供你亲身尝试。

举荐：用 NSDT设计器 迅速搭造可编程3D情景。1、背景

传统的 3D 形成模型形成单一的流出表示，但 Shap·E 旨在同时形成纹理网格和神经辐射场。 这是通过借用隐式神经表征 (INR) 实行的，INR 将 3D 坐标映照到特定于位子的数据，比如密度和色彩。

Shap·E 模型的训练划为2个阶段：首先，训练基于 Transformer 的编码器，将 3D 资产映照到隐函数的参数中； 其次，在编码器的流出上训练条件扩散模型。2、隐函数的威力

Shap-E 专注于用来 3D 表示的两类型号的 INR：神经辐射场 (NeRF) 和符号距离函数和纹理场 (STF)。 NeRF 将 3D 情景表示为将坐标和观测方向映照到密度和 RGB 色彩的函数，而 STF 形成符号距离和纹理色彩。 这类 INR 无需批量手动工作便可形成全面的 3D 模型。3、Shap-E的益处

当在配对的 3D 和文本信息的大型信息集上进行训练时，Shap-E 阔以在几秒钟内形成高难多样的 3D 资产。 与 Point-E 等显式形成模型相比，它阔以更快地收敛并实行可比或更优的样件品质，同时还供应多表示流出空间。 Shap·E 是一款十分强大的工具，应用于想要轻盈创立全面 3D 模型的艺术家、设计师和开发职员。4、 Shap-E在医学成像中的运用