在人工智能照片修复方面,我们通常会想到像SD(StyleGAN等)这类的生成式对抗网络。然而,这些模型有时候会在图像修复过程中“发挥过头”,导致生成的图片与原始内容大相径庭。
本次我们要分享的AI照片修复工具,有效解决了上述问题。这个工具不仅能够有效去除图片噪声、模糊等问题,还能复原老照片中褪色或缺失的细节,使其看起来更加鲜活和真实。同时,保证修复后的图片忠实于原图内容。这一突破性的算法模型被称为DiffBIR。
一、DiffBIR的网页地址:
1、Github仓库:
https://github.com/XPixelGroup/DiffBIR
2、在线体验:
https://replicate.com/zsxkib/diffbir
3、论文地址:
https://arxiv.org/abs/2308.15070
4、项目地址:
https://0x3f3f3f3fun.github.io/projects/diffbir/
二、DiffBIR的原理概述:
DiffBIR(Diffusion-based Image Restoration)是一种基于 Generative Diffusion Prior 的模糊图像修复技术。Generative Diffusion Prior 是一种学习图像生成过程的方法,通过扩散过程将噪声逐步转化为清晰的图像。DiffBIR 利用这一特性,对模糊图像进行有效的修复。
DiffBIR 的核心思想是通过学习一个从噪声到清晰图像的扩散过程,对模糊图像进行修复。首先,从清晰的参考图像出发,逐步添加噪声,形成噪声图像;然后,利用训练好的扩散模型逐步还原噪声图像,最终得到修复的清晰图像。这一过程与传统的去模糊方法不同,它不需要复杂的参数调整和繁琐的手工操作,具有较高的实用性和鲁棒性。
实现步骤:
- 训练阶段:首先,准备一组清晰的参考图像和对应的噪声图像。利用这些数据对扩散模型进行训练,使其能够从噪声图像逐步还原为清晰图像。训练过程中,可以采用自监督学习方法,利用无标签数据自我生成训练样本。
- 推理阶段:在推理阶段,对于待修复的模糊图像,首先为其添加相应的噪声,然后利用训练好的扩散模型逐步还原噪声图像,最终得到修复的清晰图像。这一过程可以通过反向传播算法实现。
- 结果优化:为了进一步提高修复效果,可以对修复结果进行后处理,如对比度增强、色彩校正等。这些操作可以增强修复图像的视觉效果,使其更接近原始清晰图像。
应用实例:
DiffBIR 在模糊图像修复方面具有广泛的应用前景。例如,在安防监控领域,由于摄像头抖动、光照不足等原因,常常导致监控视频模糊不清。DiffBIR 可以有效地修复这些模糊视频,提高监控画面的清晰度。此外,在遥感成像、医学影像等领域,DiffBIR 也具有广泛的应用价值。
结论:
DiffBIR 作为一种基于 Generative Diffusion Prior 的模糊图像修复技术,具有简单、高效的特点。通过学习图像生成过程,DiffBIR 能够自动对模糊图像进行修复,而无需复杂的参数调整和手工操作。随着深度学习技术的不断发展,DiffBIR 在模糊图像修复领域的表现将越来越出色。未来研究可以进一步探索 DiffBIR 在不同场景下的应用,提高其在复杂环境下的鲁棒性和适应性。
二、DiffBIR的更新日志:
- 2023.09.19 : ✅ 添加对 Apple Silicon 的支持!检查Installation_xOS.md以与CPU/CUDA/MPS设备配合使用!
- 2023.09.14 : ✅ 集成基于补丁的采样策略(混合扩散器)。尝试一下!这里是一个分辨率为 2396 x 1596 的示例。GPU 内存使用未来将继续优化,我们期待您的 Pull Request!
- 2023.09.14 : ✅ 在人脸增强中添加对背景上采样器(DiffBIR/ RealESRGAN)的支持!🚀尝试一下!
- 2023.09.13 : 🚀 在OpenXLab中提供在线演示(DiffBIR-official),集成了通用模型和人脸模型。请尝试一下!Camenduru还实现了一个在线演示,感谢他的工作。:hugs:
- 2023.09.12 : ✅ 上传潜像引导推理代码并发布real47测试集。
- 2023.09.08 : ✅ 添加对恢复未对齐面的支持。
- 2023.09.06 : 🚀 更新colab 演示。感谢卡门杜鲁!:拥抱:
- 2023.08.30 : 该仓库已发布。
三、DiffBIR的功能演示:
1、一般图像修复
2、人脸图像修复
四、如何使用DiffBIR?
为了让更多用户能够轻松体验这一技术,我们将DiffBIR打包成了一键启动包。现在,您无需繁琐地配置Python环境,只需简单点击即可启动程序,从而避免了潜在的环境配置问题。
- 下载压缩包,解压到电脑D盘,最好不要有中文路径;
- 解压后点击 启动.bat 文件即可运行;
- 开了魔法:开魔法启动.bat
- 未开魔法:不开魔法启动.bat
- 浏览器访问:http://127.0.0.1:7860/,即可免费使用DiffBIR。
评论(0)