«Алиса, нарисуй карантин»: голосовая помощница генерирует картины на любой запрос

2 июня 2020 в 20:26
Кажется, Алиса что‑то знает о современном искусстве.

У голосовой помощницы Алисы в приложении «Яндекса» появилась новая функция: если сказать ей «Алиса, нарисуй», а потом уточнить, что именно нужно рисовать, то через секунду она пришлет в ответ генеративную картину. Можно попросить генерацию по какому‑то предметному запросу, например, «Нарисуй кота», а можно запросить что‑то более абстрактное — «Нарисуй ничто». Если нажать на полученные генерации, то откроется экран, где их можно скачать на телефон.

Алгоритм генерирует картины с помощью двух нейронных сетей. Первую обучили на картинах художников XX века, которые рисовали в абстрактном экспрессионизме, кубизме, фовизме, сюрреализме, минимализме и еще 28 стилях. Всего для обучения этой нейронной сети использовались 40 тысяч картин. Вторая нейросеть, которая уже давно работает в «Яндекс.Картинках» и «Яндекс.Диске», сопоставляет тексты и изображения, чтобы найти в них смысловую близость. В итоге выбирается та генерация, смысл которой оказался максимально близок к теме картины.