一个陷阱的背景消除模型FeyNobg。


一个陷阱的背景消除模型FeyNobg。
在nano banana,chatgpt-image-2这种全能的图像模型已经出来这么久的情况下,还有人在专门研究背景消除这个垂直领域,还达到了sota。
只有1.05G,在消费显卡上就能跑起来。

下面是他们的研究心得
在你的电脑中,图像以像素网格的形式存储。背景去除算法的目标是预测每个像素的不透明度值,使得背景像素变得透明,前景像素保持不透明,边界像素变得半透明。

制作这张不透明度地图需要两项技能。首先,模型必须将前景和背景分开。当主体站在素色背景前时,可以通过比较颜色轻松完成。然而,在低对比度、拥挤或伪装图像中,模型必须利用形状、纹理和上下文来识别主体中的像素。

其次,模型必须描绘前景的边界。在简单图像中,颜色或纹理的急剧变化会提供强烈的边缘信号。但真正的界限更难。头发、毛发、细线和运动模糊可以将前景和背景元素融合在一起。模型必须测量边缘像素的比例,并相应设置其不透明度。这被称为图像打垫。

通常,这些技能会用不同类型的聚焦数据来教授。这就造成了失败点。糟糕的训练组合可能导致模型不平衡,一种技能的提升往往以牺牲另一种为代价。输出要么会错过主体的部分,要么边缘不够干净。

真实图像复杂,需要在前景识别和边界精确度上达到高度。这是我们训练FeyNoBg时的关键见解。

模型地址:www.modelscope.cn/models/feyninc/FeyNobg
blog:usefeyn.com/blog/feynobg/








分类