Stable Diffusion还能压缩图：比JPEG更小更清楚，但千万别试人脸

Alex 发自 凹非寺

量子位 | 公众号 QbitAI

免费开源的Stable Diffusion又被玩儿出了新名堂：

此次是被用来压缩

。

Stable Diffusion不单能把同一张原图缩到更小，况且体现还肉眼因此地优于JPEG和WebP。

针对同一张原图，Stable Diffusion压缩出去的图片不单有更多细节，况且压缩伪影也变少了。

但用Stable Diffusion来压缩图的软件工程师Matthias Bühlmann（我们就称他MB哥吧）也指出，这类方法也有显著的限于性。

由于这不太善于解决人脸和文字等，偶尔乃至会在解码扩展回去后，幻化出原图中不存在的特点。

例如像如此（成效能够让人吓一跳）：

△左为原图，右为Stable Diffusion压缩再扩展的形成图

但是，话说回来——Stable Diffusion是怎样压缩

的？

要讲清晰Stable Diffusion如何压缩

，不妨从Stable Diffusion的许多首要工作原理讲起。

Stable Diffusion是一类特殊的扩散模型，叫作潜在扩散 （Latent Diffusion）。

和规范扩散（Standard Diffusion ）不同，潜在扩散在维度过低的隐空间（Latent Space）上进行扩散流程，而不应用实际的像素空间。

也就是说，隐空间的表示结果是许多辨别率过低的压缩图，但是这类图有很高的准确度。

这里说一下，图片的辨别率和精度是两回事儿。辨别率是表示一张图信息量多少的属性，而精度是反映结果与真值靠近水平的量。

就拿这个骆驼的大头照来举例：原图大小768KB，辨别率为512×512，精度为3×8位。

用Stable Diffusion压缩到4.98KB后，辨别率减小为64×64，而精度反而提高到4×32位了。

因此看起来，Stable Diffusion的压缩图和原图相比，差异不大。

假设再进一步详细而言的话，Stable Diffusion这类潜在扩散模型有3个首要构成部份：

VAE （Variational Auto Encoder，变分自编码器），U-Net，和文本编码器 （Text-encoder）。

但是在这项压缩图片的测试中，文本编码器没什么用。

阐扬首要功效的还是VAE，它由两部份构成：1个编码器和1个解码器。

因此，VAE能够将一张图从图片空间中，编码再解码获得许多潜在空间表示（Latent space representation）。

MB哥发掘，VAE的解码性能针对量化潜在表示来说，体现十分安稳。

通过缩放、拖拽和从新映照，将潜在表示从浮点量化为8位无符号整数，就能够获得不如何失真的压缩图了：

首先将latents量化为8位无符号整数，这时图片大小为64×64×4×8Bit=16 kB（原图大小512×512×3×8Bit=768 kB）。

接着再应用调色板（Palette）和颤动（Dither），进一步使信息放大到5kB，同时还提升了图片的复原度。

成为一位谨严的程序员，MB哥除了通过肉眼观测，还对图片品质进行了信息解析。

但是，从图片品质评价的两项首要指标PSNR（峰值信噪比）和SSIM（构造类似性）来看，Stable Diffusion的压缩结果并没有比JPG和WebP好到哪儿去。

此外，当把潜在表示从新解码扩展到原图辨别率时，固然图片的首要特点仍旧因此，但VAE也会将高辨别率的特点给予这类像素值。

用大文言讲，就是重建的图片通常和原图不同样，里面搀杂了许多新形成的“鬼畜”特点。

让咱们再来回首一下这张图：

固然用Stable Diffusion来压缩图的确还存在许多问题，但用MB哥的话来说，其成效还是很冷艳的，十分有成长出路。

如今MB哥已然把有关代码放到了Google Colab上，感兴致的同伙能够认真看看~

传送门https://colab.research.google.com/drive/1Ci1VYHuFJK5eOX9TB0Mq4NsqkeDrMaaH?usp=sharing考虑链接：[1]https://arstechnica.com/information-technology/2022/09/better-than-jpeg-researcher-discovers-that-stable-diffusion-can-compress-images/[2]https://matthias-buehlmann.medium.com/stable-diffusion-based-image-compresssion-6f1f0a399202[3]https://huggingface.co/blog/stable_diffusion

— 完 —

量子位 QbitAI · 头条号签约

关心咱们，第一时间获知前端科技动态