Free-form inpainting — это задача заполнения изображения в областях, заданных произвольной бинарной маской. В RePaint это решается чисто через image condition (без текста). К сожалению, при обучении, большинство существующих подходов тренят на определенных распределениях масок, что ограничивает их возможности генерализации для реальных типов масок. RePaint использует под капотом Denoising Diffusion Probabilistic Model (DDPM), и что ожидаемо, такая диффьюзия в Inpainting задаче обходит авторегрессию и gan'ы.
Русский 
English