跳到正文
Digital Production· Bela Beier·· 2 天前精选AI 评分58

Frankensplat 发布:在浏览器中用 WebGPU 训练高斯泼溅

Frankensplat trains splats in your browser

AI 导读

开发者 Rafael Spring 发布免费浏览器工具 Frankensplat,可基于 COLMAP 相机重建结果,用 WebGPU 在浏览器内完成高斯泼溅训练,输出 PLY 格式资产。

推荐理由

开发者公布浏览器端高斯泼溅训练工具,并附上与原生 CUDA 方案的对比数据,可供评估 WebGPU 路线参考。

正文 · AI 翻译

Frankensplat 在浏览器中训练 splats

给还不了解这个工具的人:Frankensplat 利用 WebGPU,直接在浏览器中从 COLMAP 相机重建结果训练高斯 splats。不用租渲染农场,也不用折腾安装,只要一块显卡来干实际的活。

Frankensplat web interface for Gaussian splats showing photo upload and COLMAP reconstruction options with dark theme.

高斯 splats 又找到了一个出人意料的热闹去处:浏览器标签页。Spring 新推出的这款工具与浏览器端摄影测量配套,负责训练阶段。目前的工作流仍需先做一次 COLMAP 重建。分工很清晰:先重建相机,再让 WebGPU 生成 splat。这倒也算是一种“溅”起水花的方式。

先 COLMAP,后 splats

COLMAP 走进浏览器

所需的 SfM 重建可以来自 Spring 的浏览器端 COLMAP 工具,我们在《COLMAP 走进浏览器》中介绍过它。前一阶段重建相机信息和稀疏场景结构,随后由 Frankensplat 负责高斯 splat 训练。产品概览介绍了这款新工具。

Spring 还更新了 COLMAP 实现。据他报告,特征检测速度提升约 50%,匹配速度提升约三倍,SfM 速度提升约 30%。他的公告没有说明这些提升所用的测试数据集、硬件或基线版本。

速度快,基准测试也一并附上

开发者的研究对比了 Windows 下 RTX 3070(8 GiB 显存)上完成的 26 次运行:Edge/WebGPU 中的 Frankensplat,以及原生 CUDA 的开发版 LichtFeld Studio。运行均采用 15,000 次迭代和 150 万 splat 上限。在五个匹配场景中,固定分辨率的 Frankensplat 比关闭细节特征的 LFS 少用 30.3% 的时间。在七个场景中,渐进式 Frankensplat 的平均拟合 PSNR 为 28.52 dB,而关闭细节的 LFS 为 29.39 dB。这些是不同增长策略下的单次运行;外观拟合指标并非未触碰的留出集得分。这是厂商对比,不是经独立复现的速度保证。

从照片到 splats 的全自动浏览器工作流是未来可能的方向。Spring 表示两个项目最终可能合并。指南接受包含图像和 COLMAP 稀疏重建的文件夹或 ZIP;

Feature detection software interface analyzing multiple images of stone birdbath with keypoints for visual anchors.

支持查看和导出 PLY。训练需要 WebGPU 以及足够的 GPU 限制和内存;查看使用 WebGL2。可调项包括 splat 预算、图像缩放和 PPISP 外观校正,渐进式分辨率默认开启。检查点需针对匹配的原始数据集恢复。网站和模块必须先在线加载;之后的离线访问取决于浏览器缓存。

可用性

Spring 已宣布 Frankensplat 发布并可免费使用。应用、产品概览和研究链接见下。

浏览器标签页现在可以成为 splat 工坊。这确实令人兴奋,前提是没人在关键时刻把它关掉。请用有代表性的采集数据集和目标硬件测试该工具,并在用于生产前,在预期的下游应用中验证生成的资产。

https://offlinetools.io/frankensplat

产品Frankensplat
开发者Rafael Spring
输入图像和 COLMAP Structure-from-Motion 重建
处理按开发者所述,使用 JavaScript 和 WebGPU 在本地浏览器中训练
输出PLY 格式的高斯泼溅资产
可用性据开发者称,这是一款免费的浏览器工具

Frankensplat 让你在浏览器里训练泼溅模型一文由 Bela Beier 于 2026 年 11 月 18 日发表在 DIGITAL PRODUCTION 上。

来源:Digital Production · digitalproduction.com