Как нейросеть ChatGPT сдавала экзамен на адвоката и писала юридические заключения

Иллюстрация: Право.ru/Петр Козлов

В сети только и разговоров, что об искусственном интеллекте, опробовать который может любой пользователь. Проверили юридические знания самой известной нейросети ChatGPT на практике. Она ответила на пару билетов судейского и адвокатского экзаменов (билет брала сама), решила простую юридическую задачу, дала юридические консультации и попробовала написать договор. А еще ответила на вопрос, сможет ли она заменить юристов.

Искусственный интеллект (ИИ) является одним из самых быстро развивающихся и важных областей технологий современности. Он представляет собой способность компьютерных программ и систем имитировать человеческую интеллектуальную деятельность, такую как обучение, обработку информации, понимание и вывод. От компаний до государственных организаций — все внимательно следят за развитием ИИ и ищут способы использования его в своей деятельности. В этой статье мы рассмотрим, как искусственный интеллект уже используется и какие возможности он открывает для будущего. 

Этот абзац по нашему запросу сделал ChatGPT — искусственный интеллект, который пишет тексты под любой каприз пользователя, будь то поздравление с 50-летием или медиапланы для коммерческого сайта. Мы попробовали задать ему юридические задачки на русском — и вот что получилось.

ChatGPT сдает экзамены на судью и адвоката

Проверяем, сможет ли ChatGPT сдать судейский экзамен, и предлагаем «вытянуть билет» — выбрать случайное число из определенного диапазона. Нейросети досталась тема «Преступления против собственности». 

ChatGPT отвечает на экзамене на билет «Преступления против собственности»

«Преступления против собственности относятся к категории преступлений, связанных с незаконным захватом, повреждением или уничтожением собственности другого человека. Примерами преступлений против собственности являются кража, грабеж, взлом, поджог, вандализм и мошенничество.

В целом наказание за преступления против собственности будет зависеть от конкретных обстоятельств каждого случая, включая стоимость собственности, методы, использованные для совершения преступления, и предыдущую преступную историю преступника. Во многих юрисдикциях преступления против собственности считаются менее серьезными, чем преступления против людей, такие как нападение или убийство. Однако наказание за эти преступления все еще может быть суровым, включая штрафы, тюремные сроки и вынужденные работы».

Ответ довольно логичный и непротиворечивый. Можно упрекнуть экзаменующегося в том, что он не ссылается на конкретные нормы права и говорит слишком общими словами. Но он точно знает в общих чертах, как все устроено. Конечно, экзамен на судью искусственный интеллект вряд ли выдержит, но школьное обществознание ему, кажется, вполне по силам.

А сможет ли ChatGPT сдать адвокатский экзамен? На этот раз нейросеть вытянула билет «Участие адвоката в рассмотрении гражданского дела в порядке заочного производства». Вот ответ.

ChatGPT отвечает на экзамене на билет «Участие адвоката в рассмотрении гражданского дела в порядке заочного производства»Участие адвоката в рассмотрении гражданского дела в порядке заочного производства регулируется ст. 127 Гражданского процессуального кодекса Российской Федерации. В соответствии с этой статьей, в заочном порядке рассматривается дело, в котором все стороны согласны с его рассмотрением в данном порядке и если это не противоречит закону. В таком случае адвокат имеет право представлять интересы своего клиента в процессе рассмотрения дела в заочном порядке, в том числе путем подготовки и подачи необходимых документов.

Здесь искусственный интеллект сослался на нормы права, но все перепутал: ст. 127 ГПК посвящена теме содержания судебного приказа, а вовсе не заочному производству. Да и согласие сторон тут ни при чем. Заочное производство возможно в отсутствие ответчика, который извещен надлежащим образом, но не явился в суд и не просил рассмотреть дело без него (ст. 233 ГПК).

Словом, по гражданскому процессу у искусственного интеллекта точно двойка.

ChatGPT решает юридические задачки и дает консультации

А что, если предложить боту простые юридические задачки? Например, такую, которая вышла одним из первых результатов в гугле: «Григорий продал Михаилу жилой дом. Когда Михаил вселился в него, то заметил, что во дворе нет ни одной из хозяйственных построек. Из подвала исчезли окна, которые он видел во время осмотра дома, а из комнат телеантенна и мебель. Михаил предъявил претензии Григорию, а тот ответил, что о продаже этих вещей они не договаривались».

ChatGPT проанализировал ситуацию и выдал ответ.

Нейросеть решает юридическую задачку

Если Михаил и Григорий договорились о продаже дома вместе с вещами и оборудованием, то в этом случае Григорий не нарушал договоренностей и Михаил не может предъявить претензий в этом плане.

Если же договоренности о продаже хозяйственных построек, окон, мебели, телеантенны и других вещей не были договорены, то Григорий нарушил условия договора, и он может быть вынужден возместить ущерб, причиненный Михаилу.

В целом ChatGPT прав, пусть и не дает ссылок на нормы права. По духу его ответ — это ответ настоящего юриста, который пусть и выслушает рассказ клиента, но обязательно попросит показать документы.

Вообще ссылки, нумерация и цитирование конкретных норм, кажется, слабое место нейросети. Она сделала еще одну ошибку, когда мы попросили найти статью Арбитражного процессуального кодекса, где говорится о требованиях к исковому заявлению.

ChatGPT про статью АПК о требованиях к исковому заявлению 

Исковое заявление должно соответствовать требованиям, установленным в Гражданском процессуальном кодексе Российской Федерации и Арбитражном процессуальном кодексе Российской Федерации.

Согласно ст. 9.1 Арбитражного процессуального кодекса Российской Федерации, исковое заявление должно содержать следующую информацию:

По сути, плюс-минус верно. (Хотя при чем тут плательщик и плательщик чего? Госпошлины за исковое заявление?) Но ст. 9.1 в АПК просто нет, и откуда ChatGPT ее взял — неизвестно.

А что, если задать боту реальные вопросы пользователей сайта, где юристы дают бесплатные ответы? Например, этот: «Пожалуйста, подскажите, в какой срок нужно успеть подать кассационную жалобу по гражданскому делу. В апелляционном определении на решение мирового судьи указано, что три месяца, но на сайте Мосгорсуда — шесть месяцев. Где верная информация?»

ChatGPT консультирует о сроке подачи кассационной жалобы

Кассационная жалоба по гражданскому делу должна быть подана в течение трех месяцев с момента получения решения, к которому она относится. Важно учитывать, что сайты, в том числе и сайты Мосгорсуда, могут содержать неверную или устаревшую информацию, поэтому в качестве основного источника следует руководствоваться законодательством и судебными практиками.

Ура, ответ верный (ст. 376.1 ГПК)! И даже второй вариант не смог сбить систему с верного пути.

А что у ChatGPT с трудовым правом? Возьмем тему посложнее. Для его надо сопоставить между собой ряд норм о нахождении в отпуске, уведомлениях, порядке привлечения к работе в праздники. Вопрос звучит так: «Находился в отпуске. На работе был выпущен приказ о привлечении к работе в праздничный день. Я его не видел, подпись на нем не ставил, поскольку находился до выходных включительно в отпуске. Итог — дисциплинарное взыскание за невыход на работу в праздничный день. Можно как-то оспорить это решение, имеется ли похожая судебная практика?»

ChatGPT разъясняет вопросы трудового права

Вы можете попытаться оспорить дисциплинарное взыскание, если у вас есть доказательства, что вы действительно находились в отпуске и не могли видеть приказ о привлечении к работе. Также стоит ознакомиться с трудовым законодательством России и условиями вашего трудового договора, чтобы убедиться, что ваше дисциплинарное взыскание является законным.

В судебной практике России могут быть примеры случаев, когда сотрудники, находившиеся в отпуске, оспаривали дисциплинарные взыскания за невыход на работу в праздничный день, но успех в таких делах зависит от многих факторов, таких как обстоятельства случая, доказательства, и судебной практики в данной области. Вам может потребоваться получить юридическую помощь.

Ответ не самый конкретный, но и ошибок в нем нет. Нейросеть «понимает»: возможны разные варианты. Здесь ей удалось не ошибиться с помощью предположений («может») и отсылки к закону и условиям договора, совету получить профессиональную помощь. Эти советы хоть и банальные, но действенные и юридически верные в любых случаях.

ChatGPT пишет документы

Мы попросили ChatGPT написать исковое заявление о взыскании долга по договору займа. Результат подтверждает, что нейросеть училась на примерах из интернета: результат похож на любое простейшее исковое заявление, которое можно найти в «Гугле» или «Яндексе» за минуту. Фрагмент сокращен из-за того, что у ChatGPT есть ограничение на количество символов.

Нейросеть пишет исковое о взыскании займа

[Ф. И. О. истца], [адрес истца]

[Ф. И. О. ответчика], [адрес ответчика]

Иск о взыскании долга по договору займа

Обращаюсь в Ваш суд с иском о взыскании долга по договору займа, заключенному между мной и ответчиком [Ф. И. О. ответчика] на [дата заключения договора].

По договору ответчик обязуется вернуть мне заем в размере [сумма займа] рублей в течение [срок возврата займа]. Но на дату подачи настоящего иска сумма долга составляет [сумма долга] рублей.

Я прошу Вас вынести решение о взыскании долга по договору займа в полном объеме, включая проценты за пользование денежными средствами, установленные договором. [...]

А если попросить что-то посложнее? Например, написать текст опциона на заключение договора купли-продажи 30% доли ООО «Перепродажа». Продавец — ООО «Продажа», покупатель — Иван Иванов, цена вопроса — 10 млн руб. Мы меняли запросы несколько раз, но нейросеть выдавала набор условий, очень похожий на договор купли-продажи. Согласно тексту, «Продажа» попросту обязалась передать Иванову долю за деньги, а слово «опцион» выглядело лишь формальностью, никак не влияющей на условия. Но мы еще раз переформулировали запрос и добавили туда еще одно важное условие: «Срок действия оферты — три года». Стало получше: появилось условие для опциона про момент передачи доли (п. 3). Но с другой стороны, вылезла формулировка «Чистая собственность» (это забавно, хотя и понятно, что нейросеть имела в виду).

ChatGPT пишет текст опциона

Между ООО «Продажа» (далее — продавец) и Иваном Ивановым (далее — покупатель) составлен настоящий опцион заключения договора купли-продажи 30% доли ООО «Перепродажа».

ChatGPT пишет правовые новости

Мы не могли не воспользоваться возможностью и попросить ChatGPT написать новость на наш сайт. Запрос выглядел так: «Напиши новость о таком сюжете — «В течение трех лет мужчина перевел бывшей жене свыше 17 млн руб. с формулировкой «Дарение близкому родственнику». После того как его признали несостоятельным, финансовый управляющий попытался оспорить эти выплаты. Бывшая жена банкрота настаивает, что это алименты на несовершеннолетнюю дочь».

ChatGPT пишет новость на сайт Право.ru

«Судебный процесс, который устанавливает, являются ли 17 млн руб., переведенных мужчиной бывшей жене в течение трех лет, дарением или попыткой укрыть средства от кредиторов, продолжается в суде. Финансовый управляющий, признавший мужчину несостоятельным, оспаривает эти выплаты. Однако бывшая жена настаивает, что это были алименты на их несовершеннолетнюю дочь.

Судебный процесс, который продлится несколько месяцев, принесет решение, которое может иметь значительные последствия для всех заинтересованных сторон. Мы продолжим отслеживать этот случай и держать вас в курсе всех развитий».

Искусственный интеллект особенно ничего не добавил от себя, но изложил факты в стиле, который подойдет для радио или телевидения. ChatGPT показал: ИИ знает, что такое новости, да и с банкротствами знаком. Осталось немного поработать над стилем.

Выводы

Заменит ли искусственный интеллект юристов? Пусть этот вопрос уже набил оскомину, но бурное и быстрое развитие нейросетей, о котором все говорят, поднимает его опять. Из примеров в этой статье очевидно, что в ближайшее время человеку не стоит опасаться конкуренции с машинами (даже с поправкой на то, что основной язык ChatGPT английский, а ответы на других языках могут проигрывать по точности и другим параметрам). Нейросеть продолжает учиться и, как прямо говорится на ее сайте, может выдавать неправильные, необъективные ответы и опасные советы.

Конечно, некоторые ошибки и неточности можно исправить на месте: нейросеть можно тренировать на запросах, как показывает пример про опцион. ChatGPT выдавала договор купли-продажи, но мы уточнили условия и получили более точный результат. Тем не менее, чтобы учить нейросеть, надо хорошо разбираться в теме и отличать правильные ответы от неправильных. Это показывает пример студента РГГУ, которому ChatGPT «написала» диплом: 15 часов он потратил на уточнение запросов. В итоге он защитил работу на тройку, а вуз, несмотря на скандал, решил не аннулировать этот результат.

Что касается вузов, то, как показал эксперимент, искусственный интеллект способен заменить студента юрфака. Правда, с большим трудом. Как сообщалось в январе 2023 года, ChatGPT сдал на оценку «удовлетворительно» тест, который проходили студенты в Школе права Университета Миннесоты. В нем было 95 вопросов с вариантами ответов и 12 вопросов, ответ на которые надо было объяснить письменно. Хотя в целом нейросеть набрала проходной балл, профессор Джонатан Чой и соавторы исследования отмечают, что она была последней из студентов по большинству вопросов и завалила вопросы с вариантами ответов, в которые была включена математика. 

Там, где надо было писать текст, бот продемонстрировал отличное знание основ и хорошую композицию. Но часто ему не давались ответы на открытые вопросы, а это ключевой навык на юридических экзаменах.

Джонатан Чой

Словом, с простыми текстовыми вопросами ChatGPT справляется отлично. Это подтвердили и примеры из статьи. А значит, вероятно, в ближайшие годы нейросети смогут заменить поисковики: ИИ предложит больше возможностей для поиска сложной информации, а еще сможет ее анализировать и систематизировать. Но только под присмотром человека.

«ChatGPT находится в зачаточном состоянии», — говорит Мэттью Голаб, директор по правовым технологиям в юрфирме Gilbert + Tobin.

Мы еще далеки от того, чтобы давать машинам трактовать юридические тексты без помощи человека. Например, вы можете натренировать нейросеть до совершенства на одном виде договоров или очень похожих договорах. Но все станет очень сложно, если ей попадется какой-нибудь реальный договор из практики.

Мэттью Голаб 

Чтобы поставить точку в этом вопросе, мы задали вопрос самому ChatGPT, может ли он заменить юристов. И вот что ответил наш собеседник:

«ChatGPT может быть полезным в предоставлении информации и ответов на вопросы в области юридической информации, но не может заменить юристов. В юридических вопросах важны не только знания, но и умение применять их в конкретных случаях, что требует глубокого понимания юридических принципов, законов и практики. Юристы также обладают навыками в представлении интересов их клиентов в суде и на переговорах. Поэтому, хотя ChatGPT может помочь в предоставлении информации, необходимость в квалифицированных юристах не исчезает».

Как работать с нейросетью

• Пишите запросы, а не общайтесь с нейросетью. Да, с ней можно болтать, потому что она похожа на человека. Но для результата нужна другая тактика.
• Хорошо работают точные и сложные запросы. Помните, что вы эксперт, а искусственный интеллект — это инструмент, который помогает вам писать. Его можно подталкивать в нужном направлении. Например, попросить написать эссе не о том, как «человеческие ошибки приводят к катастрофам», а изложить эссе «со следующими утверждениями: люди ошибаются; большинство ошибок не особенно важны; в сложных системах некоторые ошибки приводят к катастрофам; катастроф нельзя избежать».
• Можно задавать требования к стилю (научный, разговорный, новостной и так далее), просить писать лаконично или многословно, или детализировано, иллюстрировать утверждения примерами.
• У ChatGPT есть память — она запоминает примерно 3000 слов. Иногда это полезно: можно попросить сделать третий параграф более профессиональным или использовать другой пример в середине. Нейросеть обновит текст. Иногда надо напомнить, о чем идет речь, если она «забыла». С другой стороны, ChatGPT может повторять одни примеры или один и тот же стиль. Попросите ее поменять их или измените предыдущие запросы. Иногда лучший вариант — это начать заново.
• Экспериментируйте с запросами, пока не получите хороший результат.

Советы дал профессор Университета Пенсильвании Итан Моллик.