В работе предлагается новый метод подавления артефактов, возникающих при наложении изображений друг на друга. Метод основан на дифференциальной активации. Задача наложения изображений возникает во многих приложениях, однако в данной работе она рассматривается с точки зрения редактирования атрибутов лица. Существующие подходы подавления артефактов имеют существенные ограничения. Они используют дифференциальную активацию для локализации областей редактирования с последующим слиянием признаков, что приводит к потере характерных деталей (например, украшения, прически) и нарушению целостности фона. Передовой метод подавления артефактов основан на энкодер-декодерной архитектуре и иерархической агрегации карт признаков генератора StyleGAN2 с декодером, что приводит к искажению текстур, чрезмерной резкости и эффекту алиасинга. Мы предлагаем метод, объединяющий традиционный алгоритм обработки изображений с методом глубокого обучения. В нем объединены блендинг Пуассона и нейронная сеть MAResU-Net. Блендинг Пуассона используется для создания слитых изображений без артефактов, а сеть MAResU-Net учится сопоставлять изображения, загрязненные артефактами, с чистыми версиями. В результате формируется конвейер преобразования изображений с артефактами наложения в чистые изображения без артефактов. На первых 1000 изображениях базы данных CelebA-HQ разработанный метод демонстрирует превосходство по сравнению с известным методом по пяти метрикам: PSNR: +17,11 % (от 22,24 до 26,06), SSIM: +40,74 % (от 0,618 до 0,870), MAE: −34,09 % (от 0,0511 до 0,0338), LPIPS: −67,16 % (от 0,3268 до 0,1078), FID: −48,14 % (от 27,53 до 14,69) при 26,3 млн параметров (в 6,6 раз меньше, чем 174,2 млн у аналога) и ускорении обработки на 22 %. Метод сохраняет детали аксессуаров, фоновые элементы и текстуру кожи, которые обычно теряются в существующих методах, что подтверждает его практическую ценность для реальных приложений редактирования лиц.
The paper proposes a new method for suppressing artifacts generated during image blending. The method is based on differential activation. The task of image blending arises in many applications; however, this work specifically addresses it from the perspective of face attribute editing. Existing artifact suppression approaches have significant limitations: they employ differential activation to localize editing regions followed by feature merging, which leads to loss of distinctive details (e.g., accessories, hairstyles) and degradation of background integrity. The state-of-the-art artifact suppression method utilizes an encoder-decoder architecture with hierarchical aggregation of StyleGAN2 generator feature maps and a decoder, resulting in texture distortion, excessive sharpening, and aliasing effects. We propose a method that combines traditional image processing algorithms with deep learning techniques. It integrates Poisson blending and the MAResU-Net neural network. Poisson blending is employed to create artifact-free fused images, while the MAResU-Net network learns to map artifact-contaminated images to clean versions. This forms a processing pipeline that converts images with blending artifacts into clean artifact-free outputs. On the first 1000 images of the CelebA-HQ database, the proposed method demonstrates superiority over existing approach across five metrics: PSNR: +17.11 % (from 22.24 to 26.06), SSIM: +40.74 % (from 0.618 to 0.870), MAE: −34.09 % (from 0.0511 to 0.0338), LPIPS: −67.16 % (from 0.3268 to 0.1078), and FID: −48.14 % (from 27.53 to 14.69). The method achieves these results with 26.3 million parameters (6.6× fewer than the 174.2 million parameters of comparable method) and 22 % faster processing speed. Crucially, it preserves accessory details, background elements, and skin textures that are typically lost in existing methods, confirming its practical value for real-world facial editing applications.
The authors declare that there are no conflicts of interest present.