«О боже, это началось, — написал в твиттере преподаватель ИТМО Павел Маврин. — Студент сдавал мне ДЗ, сгенерированное #ChatGPT, и я это понял, только когда начались задачи посложнее и он начал генерить совсем уж полную ахинею».
Он не первый и уж точно не последний преподаватель, столкнувшийся с этим. Всего несколько месяцев прошло после открытого релиза чат-бота, работающего на языковой модели GPT-3, а предприимчивые студенты уже генерируют с его помощью сочинения. А в Университете Миннесоты ChatGPT уже сумел сдать вступительный экзамен — без триумфа, но успешно.
Внешне это похоже на списывание у странноватого, но смышленого одноклассника. Ты пишешь ему задание: «Объясни в одном простом предложении, что такое GPT-3», и он отвечает: «GPT-3 (Generative Pre-trained Transformer 3) — это мощный языковой модели, которая используется для генерации текста и задач обработки языка». Как можно увидеть из этого примера, на русском языке он работает не так резво, как на английском, но все же работает. А уж на английском даже сейчас текст, выданный алгоритмом, на вид не отличается от написанного живым человеком.
Еще в 2019 году ученые из Корнельского университета провели исследование, в котором 500 участников оценивали правдоподобность статей из «Нью-Йорк Таймс» и текстов, сгенерированных GPT-2, предыдущей версией модели. Реальные статьи сочли правдоподобными 83%, сгенерированные — 72%. С тех пор технологии продвинулись далеко вперед, и убедительность «искусственных» текстов только усилилась.
Кажется, что профессионалы должны распознавать «творчество» компьютеров лучше, чем простые люди. Но на самом деле все куда запущеннее. Еще в 2005 году — за два года до релиза первого айфона — выпускник MIT Джереми Стриблинг с коллегами отправили на международную конференцию доклад под названием «Алгоритм типичной унификации точек доступа и избыточности». Доклад был принят — к ужасу авторов, признавшихся, что они его не писали. Текст был сгенерирован разработанным ими алгоритмом, который смешал несколько статей и сгенерировал графики, получив правдоподобно выглядящий, но абсолютно бессмысленный наукообразный текст.
В 2014 году издателям Springer и IEEE пришлось отозвать уже 120 опубликованных статей, оказавшихся автоматически сгенерированным бредом. До выхода первой версии языковой модели GPT, перевернувшей игру, оставалось четыре года — а люди уже попадали впросак.
Сейчас же, когда ChatGPT доступен любому желающему, а OpenAI уже готовит новую версию языковой модели, преподаватели запаниковали: теперь студентам даже не нужно будет искать, где списать сочинение. Вводишь пару строк в компьютер, ждешь минуту-другую — и готово. Кажется, доступность языковых моделей грозит навсегда обрушить систему образования. Или все не совсем так?
Ничего нового
На самом деле, если копнуть поглубже, оказывается, что ничего принципиально нового не произошло. Просто появился еще один инструмент, помогающий тем студентам, которые не хотят самостоятельно писать свои работы. Раньше эти студенты распечатывали рефераты, скачанные в сети; еще раньше покупали томик «1100 самых лучших школьных сочинений»; еще раньше договаривались за умеренную плату с отличниками. Говорят, что лень — двигатель прогресса; стоит ли удивляться, что и плодами этого прогресса первыми рады воспользоваться лентяи.
Впрочем, было бы слишком большим упрощением списывать все на лень учеников. Чтобы студент увлекся предметом, его нужно увлечь. А для этого мало найти увлеченного преподавателя — нужно еще и обеспечить этому преподавателю возможность взаимодействия с каждым учеником. В условиях, когда на каждого учителя сгружают сотню учеников, а потом еще и взваливают сверху гору внеклассной работы и всяческих «разговоров о важном», учеба превращается в конвейер.
Так сама образовательная система создает людей, которые стремятся учиться как можно меньше и делегировать скучные задачи хоть алгоритму, хоть черту в ступе. Об этом говорит и профессорша английского языка Джессика Чикчехито Хиндман: «Когда преподаватель не в силах уделить индивидуальное внимание каждому студенту, вероятность того, что они будут халтурить — неважно, идет ли речь о плагиате, ИИ или просто о работах, написанных скучно и на отвали, — растет».
Итак, ChatGPT и подобные алгоритмы уже с нами — и наверняка надолго. Поэтому преподавателям приходится думать, что же с ними делать.
Как приручить GPT-3
Самая понятная реакция — запретить. На первый взгляд, это логичная стратегия: если студенты используют инструмент для обмана учителей, нужно лишить их этого инструмента. Но, как всегда бывает с простыми решениями, обнаруживается множество деталей.
На каком основании запрещать ChatGPT в учебном заведении? Ведь использование ИИ для написания текстов — это не плагиат, по крайней мере в традиционном смысле. Юридически нам еще предстоит переосмыслить эти понятия, но с бытовой точки зрения важно другое: старые добрые сервисы вроде «Антиплагиат» не смогут отличить сгенерированный компьютером текст от написанного человеком. С другой стороны, невозможно ограничить использование алгоритмических технологий в университетах — ведь тогда под удар попадут и вполне привычные инструменты вроде спелл-чекеров. Так можно дойти и до запрета любой техники на уроках или вне их — не то чтобы совсем немыслимого в сегодняшней России, но все еще не вполне реализуемого на практике.
Впрочем, даже если целиком и окончательно запретить тексты, написанные с помощью ИИ, возникает куда более сложная проблема. Если студент решит обойти этот запрет — как распознать его обман?
Пока что вполне реально бороться с технологиями с помощью технологий. Скажем, онлайн-демо детектора GPT-2 верно определяет сгенерированную с помощью ChatGPT энциклопедическую статью. Впрочем, стоит вставить в текст три-четыре слова от себя, и детектор начинает принимать текст за совершенно оригинальный продукт человеческого разума. Более продвинутые детекторы обмануть чуть сложнее — но и с ними легко управиться при желании.
Об этом же говорит и Сэм Олтман, исполнительный директор OpenAI, создателей GPT-3: «У нас могут быть способы, которые помогут учителям с чуть большей вероятностью обнаружить результаты работы системы, подобной GPT. Но, честно говоря, смекалистый человек сумеет их обойти».
По словам исследователя Скотта Ааронсона, инженеры OpenAI работают над тем, чтобы алгоритм добавлял в любой сгенерированный текст своего рода водяной знак, незаметный человеку, но очевидный алгоритму. Это может помочь — но лишь пока не появятся относительно доступные языковые модели, чьи создатели не так озабочены этическими вопросами. А они появятся скоро.
Поскольку возможности для неэтичного применения GPT-3 почти неограничены — легко, скажем, представить себе лавину сгенерированного политического компромата, — борьба с ними выходит на самые высокие уровни. В 2021 году Агентство перспективных исследовательских проектов американского минобороны запустило программу Semantic Forensics («Семантическая криминалистика»), которая направлена на защиту от автоматизированных дезинформационных атак. Гонка технологий никогда не заканчивается, и кажется, что сегодня она идет на поле автоматической генерации текстов.
Мухаммад Абдул-Маджид, ведущий специалист в области обработки естественного языка и машинного обучения в Университете Британской Колумбии, считает, что попытка технологического решения этой проблемы похожа на детскую игру Whac-A-Mole: «Всякий раз, когда вы придумываете новый способ выявления [языковой] модели, появляется более совершенная модель. Я не думаю, что такая гонка — лучший способ решения проблемы».
Куда более полезным кажется совет «ловить» алгоритмы за руку. Дело в том, что правдоподобность текстов, выдаваемых алгоритмом, не значит, что они правдивы. Скажем, объем данных, на которых натренирован алгоритм, ограничен. ChatGPT с порога предупреждает, что обладает «ограниченными знаниями о мире и событиях после 2021 года». Он не знает, что Анни Эрно получила Нобелевскую премию по литературе — и потому просто не сможет упомянуть этот факт в сочинении на соответствующую тему.
Кроме того, хорошим подспорьем станет привычка проверять цитаты. «Модели обожают придумывать цитаты, которые звучат так, будто их сказал человек, которому приписывается их авторство, — но на самом деле они просто выдуманы», — говорит Джеффри Ирвинг, исследователь в области безопасности в компании DeepMind.
А, кроме запрета, есть и другая стратегия: некоторые преподаватели по всему миру уже придумывают, как можно учитывать меняющуюся ситуацию в своей работе — или даже использовать ее в своих целях.
Даррен Хик, доцент Университета Фурман, поймавший студента на использовании ChatGPT всего через неделю после запуска чат-бота, говорит, что этот случай заставил его пересмотреть учебный процесс в целом: «Каждый раз, когда я даю письменное задание, я спрашиваю себя: „Что может сделать с этим ChatGPT?“» При малейшем подозрении он устраивает студенту небольшой устный опрос.
«В своей практике я бы не приравнивал использование инструментов вроде ChatGPT к списыванию и плагиату. Мне кажется, было бы намного продуктивнее научить студентов пользоваться такими инструментами, понимать, как они формулируют ответы, и научиться относиться к ним критически: знать, в чем они полезны, а в чем — нет. Моя цель здесь скорее в том, чтобы объяснить, что ChatGPT дает внятные ответы лишь на очень узкий круг вопросов. И я точно пока не советовался бы с ним о том, куда вкладывать деньги», — говорит Дмитрий Веснин, преподаватель Института бизнеса и дизайна (B&D).
Нейтан Башез, создатель инструмента Lex, объединяющего текстовый процессор с генератором на основе GPT-3, считает, что появление ИИ — лишь очередное техническое новшество, которое поможет пишущим людям. По его словам, главное — чтобы ИИ не подменял человеческое творчество, а усиливал его. С ним соглашается пользовательница тиктока @gibsonishere, американская школьная учительница: «Я искренне верю, что мы должны использовать этих ботов в письменных заданиях как инструменты — вроде калькуляторов на уроке математики, — иначе ученики будут видеть в них способ читерить». Она рассказывает, как внедряет работу с ChatGPT на уроках. Сперва ученики должны без использования компьютера написать для бота инструкцию, по которой он генерирует сочинение; затем им предстоит проанализировать, как устроено это сочинение, и понять, с чем алгоритм справился, а в чем ошибся. Наконец, им предстоит улучшить генерированное сообщение, самостоятельно или с помощью компьютера: @gibsonishere обращает внимание, что главное — чтобы студенты понимали, что именно им нужно улучшить.
Так новая технология становится не кочкой, а трамплином, не допингом, а помощником для человека, который учится работать со словом.
Стоит ли бояться будущего?
Какими бы поразительными ни выглядели результаты применения ChatGPT, страхи о том, что новые технологии угрожают образованию, кажется, сильно преувеличены. Если уж на то пошло, они подсвечивают те проблемы, которые уже существовали.
В школьные годы у меня было три преподавательницы литературы. Одна из них тратила массу сил на то, чтобы увлекать учеников, учить их думать самостоятельно и выражать свои мысли в сочинениях. Две другие оценивали наши работы по тому, насколько их содержание совпадало с заложенным в их головы образцом «правильного» сочинения. И дело не в том, что мне как‑то особенно не повезло: это обычная ситуация. Обучение часто проходит под девизом «Твоего мнения никто не спрашивал».
Но если от ученика требуется не выражать свое мнение, а писать заданные мысли в заданной форме — то почему бы не перепоручить это техническое задание роботу? Когда образовательная система ставит исполнительность выше креативности, ученик становится лишь вынужденным проводником между ней и GPT-3, идеальным исполнителем.
И эта ситуация выходит за пределы школьного или университетского образования. Так, в 2008 году коллектив газеты «Троицкий вариант» смог опубликовать в российском научном журнале перевод той самой статьи «Корчеватель». Редакцию не смутил ни абсурдный текст работы, ни то, что ее выдуманный автор работал в несуществующем Институте информационных проблем РАН, ни то, что в списке литературы была указана работа автора по фамилии Softporn. Рецензент журнала отметил высокую актуальность темы, отличную практическую эффективность и методологическую ценность. После скандала журнал был исключен из списка Высшей аттестационной комиссии.
А в 2014 году эксперты «Диссернета» обнаружили в докторской диссертации Владимира Мединского 14 страниц, дословно скопированных из работы депутата Виктора Круглякова, а в кандидатской — 87 страниц, почти полностью совпадающих с фрагментами работы их научного руководителя, вплоть до грамматических и орфографических ошибок. Двумя годами позже тогдашнего министра культуры пытались лишить ученой степени, поскольку его диссертация «абсурдна и не имеет научной ценности». Скандал, как и многие подобные скандалы, кончился ничем.
Эти обвинения очень похожи на то, в чем обвиняют ChatGPT: он тоже компилирует свои тексты на основании других; результаты его работы тоже наукообразны, но часто абсурдны и сами по себе не имеют научной ценности. Легко представить, что скоро научный мир России может захлестнуть вал диссертаций, целиком или частично сгенерированных с помощью компьютерных алгоритмов. Обнаружить такой подлог «Диссернету» будет сложнее, чем прямое копирование, — но к мнению «Диссернета» и сейчас мало кто прислушивается. Кажется, будто все меняется, но приглядишься — и обнаруживаешь, что все остается прежним.
ChatGPT — это инструмент, весь потенциал которого нам сейчас даже сложно представить. Он способен многократно усилить и хорошее, и дурное в нашем мышлении. Для человека, всерьез занимающегося креативным трудом, языковые модели станут экзоскелетом, незаменимым помощником и ассистентом. Для ленивого студента или нерадивого депутата — способом без особых усилий получить ни за что пятерку или сгенерировать внушительную и бессмысленную диссертацию.
Если научная и образовательная системы нацелены на то, чтобы развивать и поощрять креативность, критическое мышление, создавать новые знания и проверять на прочность имеющиеся теории, то нам необходимо исследовать новые технологии, их возможности и опасности. А если они нужны лишь для того, чтобы провести людей от первого класса до научной степени, выдав им по пути несколько дипломов и свидетельств, то это не образование, а карго-культ. И проблема в нем, а не в чат-боте, который научился составлять слова в предложения.