Синтезирането на визуално съдържание често изисква прецизно управление на поза, форма, изражение и оформление на генерирани обекти. Днешните методи за манипулиране на изображения, като например с инструменти като Photoshop, изискват висока степен на умение за гъвкав и прецизен контрол на позицията, формата, изражението или композицията на отделни обекти. Друг вариант е да създадете изцяло нови изображения с помощта на AI като Stable Diffusion или GAN, но и те предлагат ограничен контрол след това.
Точно тук се включва DragGAN, който представлява нов метод за манипулация, с който потребителите интерактивно да плъзгат точки върху изображенията, за да постигнат прецизно позициониране в нови целеви точки.
DragGAN може да обработва фотореалистични изображения, стига те да съответстват на категориите от обучителните модели от данни на GAN. Те включват животни, коли, хора, клетки и пейзажи. С помощта на простичък интерфейс потребителите след това могат да плъзгат точки, които са дефинирали в изображението до желани нови позиции, например, за да затворят очите на котка, да завъртят главата на лъв и да отворят устата му или да трансформират кола в друг модел.
Методът се състои от два ключови компонента. Първият компонент е базирано на функции наблюдение на движението, което насочва движението на точката на управление към желаната позиция. Вторият компонент включва нов подход за проследяване на близки точки, като използва отличителни характеристики от моделите на GAN за непрекъснато локализиране на позициите на точките на управление.
За сравнение, екипът на разработчиците показва, че DragGAN е очевидно по-добър в сравнение с другите методи. Въпреки това, някои промени все още са придружени от артефакти и предстои усъвършенстване на обучението по модели.
Повече за метода вижте тук (сайтът често е offline): DragGAN
Интернет портал за печатни технологии.
