DemoFusion 是一款能够显著提高图像分辨率的增强工具。它允许用户将图像的分辨率提升至原来的4倍、16倍甚至更高，不仅增强图片的清晰度，还能够细化图片中的小细节，如纹理和边缘，创造出更为自然和逼真的视觉效果。DemoFusion 与基于潜在扩散模型（LDM）的多种应用无缝集成，例如ControlNet，同时还能放大真实世界中拍摄的图像。
一、DemoFusion的技术剖析：
使用生成人工智能（GenAI）生成高分辨率图像具有巨大的潜力，但由于培训所需的巨额资本投资，它越来越集中于少数大公司，并隐藏在付费墙后面。本文旨在通过推进高分辨率生成的前沿，同时保持广大受众的可访问性，来实现高分辨率 GenAI 的民主化。我们证明现有的潜在扩散模型（LDM）在生成更高分辨率的图像方面具有尚未开发的潜力。我们新颖的 DemoFusion 框架无缝扩展了开源 GenAI 模型，采用渐进式升级、跳过残差和扩张采样机制来实现更高分辨率的图像生成。DemoFusion的渐进性需要更多遍，但中间结果可以作为“预览”，便于快速快速迭代。
二、DemoFusion的主要特点：
- 高分辨率图像生成：DemoFusion 利用潜在扩散模型（LDMs）生成高分辨率图像，打破了传统图像生成技术的限制。
- 渐进式上采样：通过分阶段提升图像分辨率，该方法能生成更清晰、细致的图像，同时提供了对图像质量的精细控制。
- 跳过残差和扩张采样机制：DemoFusion 采用这些先进技术改善图像的局部细节和整体一致性，以生成更自然和逼真的图像。
- 与 ControlNet 的集成：能够无缝集成至基于 LDM 的应用中，实现高分辨率图像的可控生成。
- 放大真实图像：除了生成图像，它也能放大真实图像，通过编码的真实图像表示替换初始阶段的输出，实现高分辨率放大。
- 资源和配置要求低：DemoFusion 设计高效且易用，无需大量内存或复杂配置。
三、DemoFusion的网页地址：
Github开源：
https://github.com/PRIS-CV/DemoFusion
项目地址：
https://ruoyidu.github.io/demofusion/demofusion.html
论文地址：
https://arxiv.org/pdf/2311.16973.pdf
在线体验：
https://replicate.com/lucataco/demofusion
四、SDXL与DemoFusion对比：
SDXL可以合成分辨率高达 1024×1024 的图像，而 DemoFusion 允许 SDXL 生成 4×、16× 甚至更高分辨率的图像，无需任何调整和大量内存需求。所有生成的图像均使用单个 RTX 3090 GPU 生成。
五、SDXL+SR与DemoFusion对比：
虽然 SR（超分辨率）模型可以增强低分辨率图像，使其显得更锐利、更清晰，但它无法提供原生高分辨率图像固有的复杂局部细节。这种区别强调了高分辨率生成和超分辨率之间的根本区别，强调了为什么超分辨率不能替代真正的高分辨率图像生成。在这里，我们采用 BSRGAN[2] 来实现超分辨率。为了更好地说明局部细节，我们将分辨率为 4096×4096 的图像放大 200% 来呈现结果。
六、DemoFusion与ControlNet结合：
DemoFusion 的免调整特性可以与许多基于 LDM 的应用程序无缝集成。例如，DemoFusion结合ControlNet[3]可以实现可控的高分辨率生成。
七、DemoFusion放大真实图像：
由于 DemoFusion 以渐进方式工作，我们可以用编码的真实图像表示替换阶段 #1 的输出，从而实现真实图像的放大。然而，我们小心地避免使用术语“超分辨率”，因为输出往往倾向于基础 LDM 的潜在数据分布，使得这个过程更类似于基于真实图像的图像生成。
八、如何使用DemoFusion？
为了让更多用户能够轻松体验这一技术，我们将DemoFusion打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。
- 下载压缩包，解压到电脑D盘，最好不要有中文路径；
- 解压后点击启动.bat文件即可运行；
- 浏览器访问：http://127.0.0.1:7860/，即可正常使用。
评论(0)