Мазок и алгоритм: смогут ли компьютеры заменить искусствоведов

Пару лет назад заинтересованные лица жаловались, что в истории искусств пора различать две эры — до Google и после. В смысле — все было хорошо, но потом появился Art Project, гугловское собрание цифровых копий картин в сверхразрешении. И картины якобы тут же лишились смысла, который вкладывали в них критики и сами авторы. Зум превратил картины в зоопарк, а их изучение — в ловлю блох размером с экран компьютера. Как заметил один чикагский профессор, под гугловской лупой девушка в «Воскресном дне» Жоржа Сера мутирует в восьмиглазого паука, а персонаж дальнего плана в брейгелевской «Жатве» — в какающую золотыми плитками обезьяну. Каждый теперь часами может разглядывать то, что разглядывать никто никого не просил; каждый теперь, независимо от квалификации, сам себе эксперт, одержимый стремлением к детализации, уточнению и, соответственно, комментированию (и это относится не только к картинам).

Интересно, как тогда реагировать на новость прошлой недели. В крупнейшем хранилище научных статей Аrxiv.org опубликованы результаты опытов студентов из университета Ратгерс по созданию искусствоведческого алгоритма (смотрите также написанный по-человечески и без формул отзыв об этих опытах на Medium.com). Исследователи написали программу, способную, по их словам, обнаружить влияния и заимствования в творчестве художников — и таким образом взять на себя одну из функций художественной критики. То есть люди попытались посчитать то, что считать мало кому приходило в голову, хотя бы потому, что не совсем понятно, о чем вообще идет речь. Что именно считать признаком влияния одного художника на другого: его работу с пространством, формой и цветом, технику рисования или отсылки к историческому контексту? Обычно это всего лишь предположения, если только сам художник не подтвердил заимствования, как Фрэнсис Бэкон, регулярно писавший своих кричащих пап по мотивам одной картины Веласкеса.

Выходит, что работа исследователей из Ратгерса — одна из первых в изобразительном искусстве попыток использовать большие данные и машинное обучение для классификации. Если коротко, они взяли 1710 работ 66 художников, живших с XV по XX век, из коллекции сайта Аrtchive.com. Описали каждую картину посредством нескольких тысяч ключевых слов и фраз, начиная со смысловых единиц, указывающих на изображенные предметы или символы (например, крест, крылья или названия животных в библейских сюжетах художников Ренессанса), заканчивая формальными признаками вроде цвета и текстуры. Плюс учли хронологию, когда жили и работали художники. Затем машина сравнила эти текстовые описания картин. Родственными считались те из них, где чаще всего повторялись одинаковые смысловые единицы (и в меньшей степени — формальные признаки), хотя на первый взгляд у многих таких картин могло быть мало общего.  

Исследователи считают свой эксперимент успешным, хотя и с вежливыми оговорками о том, что это только начало, никто не пытается заменить специалистов по истории живописи машинами. Собственно, в публикации есть три конкретных примера, как программа обнаружила влияние одного художника на другого. Как признают сами исследователи, про первые два было известно и раньше без всякой программы: это влияние вангоговского «Старого виноградника и крестьянки» на «Ферму» Хуана Миро и сходство еще двух картин, написанных одновременно в 1912 году Жоржем Браком и Пикассо.

Но третий пример (см. картинку выше) историки вроде бы до сих пор не замечали. Речь идет о «Студии художника» Фредерика Базиля и «Парикмахерской Шаффлтона» Нормана Роквелла. Честно говоря, трудно понять, в чем тут выражается влияние одно художника на другого. Картины, мягко говоря, не совсем похожи, но машина сообщает, что у них сходная композиция и объекты: группа из троих мужчин, буржуйка и кресло. Поскольку все это может показаться не очень убедительным, мы попросили специалиста прокомментировать это удивительное исследование, его результаты и возможные последствия.

«На них наверняка набросится профессиональное сообщество, но программа сама по себе полезная, потому что позволяет проанализировать огромный массив визуальной информации.

Из текста непонятно, откуда они цепляют изображения. Но если это, условно говоря, Google Art Project, то компьютер, конечно, обработает куда больше произведений, чем может знать/вспомнить/достать любой историк искусства. Особенно когда в перспективе оцифруют все музейные коллекции как минимум. Я хочу сказать, что это очень удобно в работе, когда программа выводит тебе все похожие изображения, особенно если есть фильтр — и можно сортировать по сходству сюжета, детали, мотива и т. д.

Однако, хоть программа и полезная, человека — искусствоведа, если точнее, — она не заменит, потому что даже если мы сможем в ней сортировать произведения по времени создания, это ничего конкретного не даст. Она упрощает работу исследователя, но не заменяет ее. Условно говоря, похожий мотив у двух разных художников может означать не только то, что один подсмотрел у другого и использовал, но и общий образец (иногда утраченный), который оба художника видели и использовали.

Что первично, а что вторично, точно может определить лишь специалист, так как для этого необходимо проанализировать предполагаемый зрительный ряд художника (что тот мог видеть, а что нет), стиль и характер рисунка или мазка. Насмотренным глазом можно отличить копийную вещь от инвентивной (придуманной по ходу создания произведения) — видно, когда художник срисовывает, а когда пишет сам. Цепочка бывает намного сложнее, чем первоисточник и повторы/влияния, но добиться истины можно только при искусствоведческом анализе или изучении архивов, из которых становится ясно, куда художник ездил, что видел, с кем общался, у кого учился.

Пример: знаменитый алтарь Мероде, который считается произведением нидерландского мастера XV века Робера Кампена. Это очень знаменитая вещь, и ранее исследователи предполагали, что именно центральная створка этого триптиха, сцена Благовещения, служила первоисточником для многочисленных повторов (например, «Благовещение» из Музея изящных искусств Брюсселя и композиция на тот же сюжет с таким же расположением фигур из Музея Прадо). Однако только исследования творческой манеры художника, подготовительного рисунка на грунте картин (виден в инфракрасных лучах) позволили доказать, что и центральная композиция алтаря Мероде, и «Благовещение» из Брюсселя являются репликами, которые восходят к единому — пока неизвестному или утраченному образцу). Новая программа позволит собрать вместе все произведения художников данного круга на этот сюжет и проанализировать их, что даст более объемную картину.

Или другой пример, покороче: было бы здорово наконец собрать вместе все версии зимних пейзажей такого востребованного у нас на рынке художника, как Юлий Клевер-старший. Такая программа помогла бы разобраться с количеством авторских повторений одного сюжета, отделить вещи, созданные в мастерской Клевера или его учениками (сыном?).

То есть программа хороша как агрегатор схожих изображений, который позволяет решить сложную искусствоведческую задачу».