8000 GitHub - fg0521/filter4free: generate any filter like fuji/ricoh/olympus/sony/canon/nikon freely by neural network!
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content
/ filter4free Public

generate any filter like fuji/ricoh/olympus/sony/canon/nikon freely by neural network!

License

Apache-2.0 license
76 stars 8 forks Branches Tags Activity
Star
Notifications You must be signed in to change notification settings

fg0521/filter4free

BranchesTags

Repository files navigation

AI胶片模拟

作者：Slash 邮箱：1364435561@qq.com

1.介绍

使用神经网络拟合各种相机滤镜、胶片色彩！后续会一直更新迭代下去，欢迎关注，欢迎右上角点一下Started☆！这会有很大的帮助，谢谢！也欢迎白嫖！

2.目录

  • 【dir】static：权重文件和GUI资源文件
    • checkpoints：权重文件
    • src：资源文件
  • 【dir】idea：理论研究
    • src：资源文件
  • 【dir】pack：Nuitka打包文件
  • 【dir】script：模型转换推理脚本
  • train.py：训练脚本
  • train_new.py：新的训练脚本
  • dataset.py：数据构造
  • gui.py：pyqt界面
  • infer.py：推理脚本
  • loss.py：损失函数
  • models.py：模型
  • preprocessing.py：数据预处理
  • utils：功能函数

3.模型权重

负片去色罩
  • NegativeLabPro（NLP）：static/checkpoints/film-mask
奥林巴斯色彩模拟

  • VIVID-浓郁色彩 ：static/checkpoints/olympus/vivid

  • SoftFocus-柔焦 ：

  • SoftLight-柔光 ：

  • Nostalgia-怀旧颗粒 ：

  • Stereoscopic-立体 ：

富士色彩模拟

  • ACROS ：static/checkpoints/fuji/acros

  • CLASSIC CHROME ：static/checkpoints/fuji/classic-chrome

  • ETERNA ：static/checkpoints/fuji/enerna

  • ETERNA BLEACH BYPASS ：static/checkpoints/fuji/eb

  • CLASSIC Neg. ：static/checkpoints/fuji/classic-neg

  • PRO Neg.Hi ：static/checkpoints/fuji/negstdhi

  • NOSTALGIC Neg.：static/checkpoints/fuji/nostalgic-neg

  • PRO Neg.Std ：static/checkpoints/fuji/negstd

  • ASTIA ：static/checkpoints/fuji/astia

  • PROVIA：static/checkpoints/fuji/provia

  • VELVIA：static/checkpoints/fuji/velvia

  • Pro 400H：static/checkpoints/fuji/pro400h

  • Superia 400：static/checkpoints/fuji/superia400

  • reala：static/checkpoints/fuji/rela

柯达色彩模拟

  • Color Plus：static/checkpoints/kodak/colorplus

  • Gold 200：static/checkpoints/kodak/gold200

  • Portra 400：static/checkpoints/kodak/portra400

  • Portra 160NC：static/checkpoints/kodak/portra160nc

  • UltraMax 400：static/checkpoints/kodak/ultramax400

理光色彩模拟

  • Std-标准 ：

  • Vivid-鲜艳 ：

  • Single-单色 ：

  • SoftSingle-软单色 ：

  • StiffSingle-硬单色 ：

  • ContrastSingle-高对比对黑白 ：

  • Neg-负片 ：

  • R-Pos-正片 ：

  • R-Nostalgia-怀旧 ：

  • R-HDR-HDR ：

  • R-Pos2Neg-正负逆冲 ：

宝丽来色彩模拟
  • Polaroid：static/checkpoints/polaroid
索尼色彩模拟
尼康色彩模拟
佳能色彩模拟
哈苏色彩模拟
模型对应权重文件
Model Checkpoint
FilterSimulation filmcnn.pth
UNet unet.pth
UCM best-ucm.pth

注：“使用unet模型获取更好的细节表现”

4.使用方法

Pycharm等解释器（适用于所有平台）
  1. 配置环境：pip install -r requirements.txt
  2. python gui.py 使用GUI界面运行或者运行python infer.py 使用脚本推理
Windows GUI
  1. Windows链接
  1. 运行AIFilter.dist中的AIFilter.exe可执行文件
MacOS GUI
  1. Apple Silicon链接(M1/M2/m3)
  1. Intel链接(i5/i7/i9)
  1. 运行AIFilter.app 或者拖到应用程序中
GUI介绍（全新设计）

顶部为标题为Film Simulate，上方新增不同品牌的切换，每个品牌对应不同的滤镜选择，左侧为滤镜选择区域，未选中的滤镜呈灰色状态，选中的滤镜呈彩色状态；底部提供了模型选择按钮，用户可通过切换不同的模型来推理图像。

iPhone推理

实现了将pytorch模型转换为coreml，在xcode上实现iPhone离线推理，12MP的图像推理时间为4s左右。但是目前没有开发app的想法（主要是不会，若有会ios开发的请联系我）

iphone

5.实验记录

1.参考idea/对比实验.md，框架如下：

2.参考idea/自适应图像色彩迁移方案.md，框架如下：

6.未来计划

  • 1.收集相关图像数据训练更多类型胶片模拟

  • 2.尝试统一所有设备（iphone/安卓/佳能/尼康等相机）到胶片模拟的映射

  • 3.移植到iPhone推理

  • 支持onnx推理

  • 支持coreml推理

  • 支持TensorFlow推理

  • 支持mlx训练推理

7.更新日志

  1. 【24.01.21|Beta1.0】
  • Velvia、nn、nlp等胶片滤镜6个
  • GUI界面
  1. 【24.02.05|Beta1.1】
  • 新增富士nc、cc两个胶片模拟
  • 新增保存路径提示弹窗
  • 修复png图像加载出错问题，图像格式为opencv所支持的图像类型
  • 修复图像加载显示问题，保留原始图像比例进行自适应填充
  1. 【24.06.14】
  • 新研究了一种统一的色彩模拟方案，包括去色和上色两个阶段，详情参考idea/自适应图像色彩迁移方案.md
  1. 【24.07.4】
  • 新增provia滤镜，支持点击/拖拽上传图像，支持模型切换
  1. 【24.09.20】

  • 提供onnx、TensorFlow、mlx、coreml等模型的转换脚本

  • 提供neural preset训练脚本

  1. 【25.01.31】

  • 重新设计界面

  • 新增品牌选择按钮

  • 完成富士所有滤镜模型训练

  • 新增RAW格式支持：HEIF、RAF、CR2、CR3、RW2、DNG、PEF、ARW

8.用户提问

  • MacOS M系列出现已损坏，无法打开提示
    1. 打开电脑终端，输入sudo spctl --master-disable和密码，回到【系统偏好设置】▸【安全性与隐私】▸【安全性】/【通用，选中任何来源选项。
    2. 打开 “终端的完全磁盘访问” 权限。【系统设置】 ▸ 【隐私与安全性】 ▸ 【完整磁盘访问权限】 勾选了【终端】 （如果之前勾选过-然后+）
    3. 打开【系统设置】▸【隐私与安全性】▸【安全性】板块下，不明身份的开发者 点下方的【仍要打开】
    4. 先把app放到【应用程序】再在【终端】执行sudo xattr -rd com.apple.quarantine 你的app路径，例如：sudo xattr -rd com.apple.quarantine /Applications/FilterSimulation.app
  • MacOS M系列出现闪退
  1. 可以在terminal中使用open AIFilter.app 命令打开或右键显示包内容▸Contents▸MacOS▸AIFilter▸右键在终端中打开
  2. 安装command-line-tools：在【终端】中运行xcode-select --install命令进行安装，安装完成后输入sudo codesign --fo：rce --deep --sign - 你的app路径 ，例如：sudo codesign --force --deep --sign - /Applications/FilterSimulation.app
  • 其他相机/手机使用后是否存在偏差
  • 关于运行源码问题
    1. M系列芯片在运行gui.py时候，可能出现PyQt5的安装问题，由于目前该库不支持使用pip安装，需要使用berw安装，再将这个库拖入到自己的site_packages中。自行百度解决or参照：https://blog.csdn.net/WHUGIS1805/article/details/129702200

About

generate any filter like fuji/ricoh/olympus/sony/canon/nikon freely by neural network!

Resources

Readme

License

Apache-2.0 license
Activity

Stars

76 stars

Watchers

1 watching

Forks

8 forks
Report repository

Releases 3

v1.3 Latest
Feb 1, 2025
+ 2 releases

Packages

No packages published

Languages
0