Американская команда разработчиков OpenAI создала нейросеть, способную превращать текст в картинки. В ее основе — алгоритм последнего поколения для обработки языка GPT-3, который уже обучали генерировать идеи для бизнеса, тексты песен, статьи и даже отвечать на философские вопросы.
Новая разработка получила название DALL·E. Принцип ее работы следующий: человек описывает некий предмет или ситуацию, к примеру, «редиска выгуливает собаку» или «кресло в форме авокадо», а алгоритм изображает это на картинке.
Текстовый запрос: «иллюстрация маленькой редиски дайкон в балетной пачке, выгуливающей собаку».
Тестовый запрос: «стул в форме авокадо»
При одном и том же запросе результат каждый раз получается разным. Некоторые из сгенерированных картинок будут неотличимы от созданных человеком, другие — едва связными и понятными. Однако серьезных ошибок и абсолютной бессмыслицы алгоритм не допускает.
На сайте OpenAI показаны десятки примеров работы алгоритма, в которых можно самостоятельно поменять параметры. Например, «профессиональную высококачественную иллюстрацию химеры жирафа и черепахи» можно превратить в не менее качественно нарисованную смесь кота и слона или льва и цыпленка, создавая сотни различных версий мутантов (иногда милых, иногда пугающих).
Все примеры на сайте — это 30 лучших, по мнению разработчиков, изображений из 512, сгенерированных нейросетью по указанному запросу. Никакой ретуши к картинкам не применялось.
Иллюстрация химеры жирафа и черепахи
Химера кота и слона
Химера льва и цыпленка
DALL·E учитывает 12 млрд параметров (цвет, высота, названия предметов, их расположение и так далее) и может создавать антропоморфных животных, фотографически точные изображения, а также комбинировать несвязанные понятия.
К примеру, нейросеть способна понять фразу «эмодзи пингвина, который одет в синюю шапку, красные перчатки, зеленую футболку и желтые штаны». Однако разработчики подчеркивают, что результат сильно зависит от формулировки запроса. Часто идентичные по смыслу предложения интерпретируются алгоритмом по-разному и приводят к неверной визуализации.
Программа также может изобразить объект с разных ракурсов — она видит различие между «капибарой крупным планом» и «капибарой, сидящей в поле». Более того, изображения гипсового бюста под разными углами, сгенерированные DALL·E, позволили создать плавную 3D-анимацию вращающейся головы.
Исследователи считают, что работа с генеративными моделями, такими как DALL·E, может оказать серьезное влияние на общество. В будущем они планируют проанализировать связь подобных моделей с социальными проблемами, к примеру с воздействием экономики на рабочие процессы и профессии, а также изучат долгосрочные этические последствия, к которым может привести технология.