Сперва модель распознает начинку и упорядочивает ее ингредиенты, такие как грибы, мясо или овощи. Затем она убирает их и анализирует основу блюда.
Для обучения нейросети исследователи сперва пропустили через нее 5500 изображений пицц в стиле клип-арта. По их словам, это сэкономило время и позволило отделить начинку от основы. Затем в алгоритм добавили еще 9200 изображений настоящих пицц, собранных из интернета.
Ученые отмечают, что PizzaGAN достаточно успешно справляется с определением пошагового рецепта, но наиболее высокие результаты она показывает на искусственных изображениях пиццы.
Хотя модель создавалась для пиццы, исследователи считают, что ее можно применить и к другим блюдам, состоящим из слоев, таким как бургеры, сэндвичи и салаты.
Недавно ученые из Калифорнийского университета в Беркли и компания Adobe создали нейросеть, которая может определять фотошоп на изображениях и предполагать, как выглядел снимок в оригинале.