The evaluation of GenAI capabilities to implement professional tasks

Full Text

Технологии генеративного искусственного интеллекта (generative artificial intelligence, GenAI), основанные на больших языковых моделях (large language models, LLM), получили широкое распространение в последние несколько лет, особенно с появлением ChatGPT. Подобные инструменты используют в основном для быстрого получения справочной информации, написания и переводов текстов, создания изображений и видеороликов. В качестве ассистента они востребованы в различных областях, включая образование, экономику, финансы, юриспруденцию, медицину и фармацевтику (табл. 1).

 

Табл. 1. Перспективные сферы применения GenAI

Сфера	Ассистирующие функции GenAI	Литература
Образование	Обеспечение учебного процесса	Al-Zahrani, Alasmari, 2024; Ogunleye et al., 2024; Al-Zahrani et al., 2023; Gill et al., 2023; Chu et al., 2022; Dai, Ke, 2022; Hassan et al., 2022
Экономика и финансы	Аналитика и разработка финансовых стратегий	Shapira et al., 2024
Юриспруденция	Консультирование	Alimardani, 2024; Lai et al., 2023
Медицина	Постановка диагнозов	Chen, Esmaeilzadeh, 2024
Фармацевтика	Составление новых лекарственных формул	Choi at al., 2024; Mortlock, Lucas, 2024
Источник: составлено авторами.

 

Рынок GenAI характеризуется стремительной динамикой развития. К концу текущего года его объем приблизится к 67 млрд долл., что почти втрое больше по сравнению с 2022 г., а к 2030 г. может достигнуть 207 млрд долл.¹ (рис. 1). Российские организации тратят на технологии искусственного интеллекта (ИИ) 15% от общего объема расходов на цифровизацию².

 

Рис. 1. Объем мирового рынка GenAI — тенденции и прогноз (млрд долл.)

Источник: https://www.statista.com/forecasts/1474143/globalai-market-size, дата обращения 18.10.2024.

 

Ожидается, что к 2030 г. экономический эффект от инструментов ИИ составит 19.9 трлн долл. (3.5% мирового ВВП)³, а приносимая ими отдача в 4.6 раза превысит вложения (IDC, 2024). Между тем прирост мирового ВВП в последние годы замедляется. В 2023 г. он составлял 2.9%, а к концу текущего года оценивается на уровне 2.7% (OECD, 2024), что станет самым низким значением со времен начала пандемии COVID-19 в 2020 г. Предположения о том, что распространение GenAI позволит переломить тренд, пока не имеют фактических подтверждений. Как следствие, возникают сомнения в их обоснованности.

В статье аргументируются возможные причины сохраняющейся неспособности ИИ внести значимый вклад в экономический рост.

Возможности и ограничения языковых моделей

Для оценки ожиданий в отношении способностей ИИ решать проблемы и стимулировать экономический рост целесообразно обозначить условную шкалу технологического потенциала. С этой целью приведем две исторические аналогии.

Первая относится к алхимическим практикам Средневековья, связанным с попытками получения золота из других металлов при помощи философского камня. Примечательно, что в XX веке все же удалось экспериментальным путем с помощью ядерной реакции преобразовать ртуть в золото, однако данный способ производства оказался чрезвычайно дорогим и не имеющим перспектив окупаемости⁴. Иными словами, «философским камнем» можно назвать технологии, отличающиеся повышенной трудоемкостью и финансовыми затратами, но так и не реализованные в действительности, несмотря на связываемые с ними большие ожидания. Они становятся первой реперной точкой на нашей шкале.

Вторая аналогия касается разработки, возникшей почти случайно, на стыке двух доминантных технологий, доказавших свою полезность и экономическую эффективность. Речь идет об изобретении паровозов и формировании железнодорожной инфраструктуры — процессах, ставших следствием удачной попытки оснастить средства для транспортировки угля паровым двигателем, который изначально создавался с иными целями (Turnock, 1998). Развитие железных дорог преследовало прагматичную и легко наблюдаемую цель — ускорить процесс перевозки грузов и людей, что сократило бы транзакционные и временные издержки. Любая страна с развитой железнодорожной сетью извлекает колоссальные преимущества, как прямые в виде доходов от эксплуатации, так и косвенные за счет снижения затрат⁵. Технологии с подобными атрибутами будут обозначены на нашей условной шкале как «паровоз».

Попытки создать философский камень также преследовали прикладную цель — минимизировать ресурсоемкость получения золота. Но какие перспективы ожидали бы золото как актив, если бы процесс его добычи стал почти беззатратным, а предложение — избыточным? В таком случае, скорее всего, золото потеряло бы свою биржевую цену. Сегодня оно рассматривается как безусловная «валюта» — залог стабильности для финансового рынка⁶. Возможно, философский камень так и не получил воплощения по причине нереалистичного (и неочевидного) способа использования подобной технологии, поскольку в случае ее гипотетического распространения финансовый рынок очень быстро утратил бы стабильность.

Оценка ресурсных вложений в продуктивизацию упомянутых открытий представляется сложной задачей, не относящейся к цели статьи. Мы стремимся оценить, насколько на данном этапе потенциал ИИ ближе к одному либо другому из них в плане соответствия ожиданиям пользователей, и какие прикладные задачи, выражаемые в измеримых результатах, могут решаться с его помощью. Ответы на поставленные вопросы следуют из выводов обзора литературы и авторского эмпирического эксперимента.

Перед тем как анализировать перспективы профессионального использования языковых моделей, обозначим, что понимается под термином «профессионализм». Речь идет о способности выбирать оптимальные решения в условиях неопределенности, опираясь на накопленную базу знаний, и противостоять распространенным, некомпетентным суждениям, если они противоречат эмпирически проверенным фактам. Так, LLM обычно оперируют широко известными знаниями, исходя из собственной архитектуры (Strachan et al., 2024). Они могут успешно выполнять простые операции, например, агрегировать большие тексты, вычленять их ключевые тезисы (Cheung, 2024; Han et al., 2023). Но подобные функции относятся к рутинным, тогда как профессиональная деятельность подразумевает еще и творчество, работу с новизной. Поскольку генеративные модели в большинстве случаев опираются на поверхностные знания и информацию из низкокачественных источников, возрастает риск получения от них ошибочного ответа даже на элементарный вопрос, что расценивается как неудовлетворительный итог.

Отсюда следует основное ограничение для полномасштабного делегирования языковым моделям профессиональных задач. Увеличение количества параметров настройки не устраняет общую проблему, что далее иллюстрируется статистической проверкой гипотез. Таким образом, при использовании GenAI для решения рабочих задач обойтись без пристального контроля со стороны человека пока не представляется возможным. Как будет показано эмпирически, тестируемые языковые модели GigaChat Pro и GPT-4 допускают до 50% ошибок в теоретических основах права, образования и экономики, поскольку не обладают базовыми профессиональными знаниями. Все известные методики дообучения пока не могут предложить оптимального решения. Доверие профессиональной работы некомпетентному «помощнику» может быть чревато для компаний не только финансовыми, но и репутационными потерями. Поэтому какой-либо четкой стратегии продуктивизации GenAI до сих пор не выработано.

Другим сдерживающим фактором для расширения профессионального применения LLM является отсутствие эмпирического анализа эффектов от их внедрения в бизнесе, образовании и других прикладных областях (McKnight et al., 2024; Sohail et al., 2023). Как следствие, ни одна генеративная модель в настоящее время не используется как продукт профессионального труда (Noever, Ciolino, 2023). На фоне ожиданий, связываемых с их развитием, возникают очевидные риски неокупаемости, что подтверждается социологическими наблюдениями. По данным Thomson Reuters, почти 60% опрошенных юристов не уверены, что GenAI повлияет на создание добавленной стоимости юридических услуг. Не менее 70% респондентов заявили, что видят наибольшие риски использования LLM в низкой точности ответов, а 57% связывают их с этической некорректностью (Thomson Reuters, 2024). Схожую картину показывает опрос, проведенный McKinsey & Company (рис. 2) – у организаций вызывают беспокойство низкое качество и ошибочность ответов, генерируемых ИИ (56%). Подобный показатель, очевидно, не соответствует критериям профессионализма.

 

Рис. 2. Виды рисков, связанных с использованием больших языковых моделей

Источник: McKinsey & Company. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year, дата обращения 17.10.2024.

 

Таким образом, результаты работы ИИ требуют контроля при помощи специальных процедур — промптинга (корректировки запросов), тюнинга (тонкой настройки параметров ответов) и др. Ограничивающими факторами выступают: «смещения» гендерного (Borji, 2023) и лингвистического (Zhang et al., 2024; Zhang et al., 2021) характера, недостаток объективности (Anthis et al., 2024) и логики (Nguyen et al., 2023; Wan et al., 2024). Из-за отсутствия должной производительности, выражаемой в неспособности выполнять функции уровня выше рутинных, генеративные модели все еще нельзя рассматривать как средство для решения сложных задач и извлечения прибыли (Cheung, 2024). По-видимому, ожидания общества в отношении возможностей ИИ пока выглядят необоснованными. Компании-разработчики создали ряд заделов для продвижения ИИ-моделей в сторону профессионализации, но они носят скорее косвенный характер. Например, ведутся разработки по развитию у LLM способностей к логическим рассуждениям (Wei et al., 2022; Liu et al., 2023; Mirzadeh et al., 2024; Xu, 2024). Мы постарались учесть этот тренд, проанализировав новейшие версии языковых моделей, вышедшие во время подготовки публикации, — GPT-4o1 и GigaChat MAX, хотя последние и не являются фокусным объектом исследования. Тем не менее, исходя из общей точности сгенерированных ответов, можно отметить, что GigaChat MAX в целом демонстрирует более значительный прирост по итогам проверки на нашем бенчмарке (Pro vs. MAX +10%) на фоне +5% для GPT-4o1 по сравнению с GPT-4 (см. далее).

Для повышения профессионального уровня языковых моделей чаще всего используют графы знаний (Xu et al., 2024; Luo et al. 2023; Sun et al., 2023). В последнее время активно стали применяться более специализированные инструменты Retrieval Augmented Generation (RAG) или Knowledge Augmented Generation (KAG), направленные на улучшение качества ответов LLM путем формирования «критического мышления» (Sanmartin, 2024; Liang et al., 2024). Чуть менее распространен метод Mixture of Experts (MoE) (Cai et al., 2024; Zhong et al., 2024; Antoniak et al., 2023). Средства оркестровки направлены на совершенствование владения математическими операциями (Rasal, 2024; Zhou et al., 2024). Перечисленные попытки лишь опосредованно содействуют выводу LLM на профессиональное использование, поскольку одного только общего улучшения способности к генерации ответов недостаточно. Возникают риски повышения недостоверности суждений, исходящих от LLM, увеличения ошибок в базовых теориях.

Во многом разрыв между ожиданиями от продуктивизации ИИ и реальностью обусловлен отсутствием культуры машинного обучения. Совершенствованию поддаются только формальные показатели их качества. По данным Института статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ, большинство студентов в России, имеющих в программе курсы по ИИ, обучаются инженерным специальностям (70.1%). Около четверти (27.2%) связаны с математическими и естественными науками, и только 1.5% имеют отношение к наукам об обществе (НИУ ВШЭ, 2024). Подобный дисбаланс влечет за собой риски в отношении продуктивизации, поскольку разработки по темпам развития опережают продуктовую экспертизу, которой в полной мере владеют только специалисты-прикладники, в большинстве случаев обучающиеся именно на последнем из перечисленных направлений.

Разработчики LLM нередко ограничиваются увеличением количества параметров настройки и их тестированием на бенчмарках. Как будет продемонстрировано в наших эмпирических экспериментах, подобный подход не имеет ничего общего с проверкой на профессионализм. Между тем компании ожидают от ИИ-моделей качественного выполнения сложных рабочих задач. Наращивание потенциала для профессионального использования LLM невозможно без использования академических принципов в их обучении, которое должно основываться на концепции «ядра знания» (core of knowledge) (Kuhn, 1977; Lakatos, 1963; Lakatos, 1970a; Lakatos, 1970b), с тем чтобы ограничить возможность ошибок и не допустить профессиональной некомпетентности ИИ. Предлагается синтезировать увеличение параметров настройки с наращиванием массива качественных академических источников и переосмыслить обучение на ядре знаний путем взаимной увязки предметных областей (возможно, в рамках методики RAG). Необходима разработка способов отслеживания прогресса в обучении ИИ. Профессионализм как критерий является одним из новых поворотов в развитии бенчмарков в целом (Wang, 2024). Наша работа вносит вклад в решение данной задачи, предлагая авторский подход к бенчмаркингу профессионализма и тестированию на нем актуальных версий LLM.

Итак, обзор литературы и результаты социологических опросов указывают на проблему рисков, связанных с профессиональным использованием языковых моделей. В следующем разделе будут приведены эмпирические обоснования в пользу вывода о сохраняющейся невозможности их применения за пределами элементарных рутинных практик.

Эмпирическая оценка степени профессионализма языковых моделей

Для проверки базовых гипотез о низкой способности генеративных моделей выступать в качестве профессионала проводился эксперимент в трех областях знаний (экономика, право, педагогика и образование). Использовался авторский бенчмарк, методологические детали которого описаны в нашем предыдущем исследовании (Kardanova et al., 2024). В соответствии с академическим подходом проверочные задания составлялись на основе следующих критериев:

• Научность. Оценивалась способность моделей к работе с профессионально применимыми фундаментальными знаниями и решению практических задач, выходящих за рамки простого изложения фактов.
• Таксономия и сложность. Вопросы соотносились с основными измерениями таксономии Блума (Bloom et al., 1956): воспроизведение, понимание, применение; также распределялись по уровням сложности: легкий, средний, трудный.
• Коллективность. Сочетались мнения независимых экспертов.
• Итеративность. Проводилась поэтапная проверка вопросов по всем критериям таксономии и сложности.

В рамках перечисленных принципов каждое из заданий было создано академическим экспертом в конкретной области, а затем проверено специалистом-психометриком на соответствие классической теории измерения. Вопросы валидировались тремя независимыми экспертами (рис. 3). С помощью созданного набора вопросов оценивались само качество фундаментальных знаний, их сочетаемость и возможность применения в различных контекстах, зачастую неординарных. Разработанная таксономия предназначалась для проверки возможностей языковых моделей на разных уровнях — от запоминания и воспроизведения знаний до их практического применения.

 

Рис. 3. Алгоритм экспертной валидации вопросов для тестирования

Источник: составлено авторами.

 

Учитывая тенденцию к наращиванию числа параметров для настройки генеративных моделей, проверке знаний о фактах и теориях посвящалось не более 20% вопросов. В общей сложности создано свыше 13 000 уникальных вопросов, соответствующих стандарту MLUU (Massive Multitask Language Understanding) (Hendrycks et al., 2020). Продемонстрировать их примеры не представляется возможным из-за рисков утечки в претрейн⁷. Сравнивались доли правильных ответов, выдаваемых ИИ в двух режимах: с применением метода Chain-of-Thoughts (CoT) и без него. В первом случае модель «берет время на размышления», во втором — выдает ответ моментально.

В целом, результаты тестирования GPT-4 и GigaChat Pro показывают низкую возможность использования LLM в качестве профессиональных помощников. Наш изначальный тезис заключался в том, что этот фактор статистически значимо связан с вероятностью допущения ИИ ошибок в самых простых вопросах, а ответам нельзя доверять без дополнительной проверки со стороны человека.

Для доказательства предложены следующие гипотезы:

• Шанс получения правильного ответа незначимо связан с количеством параметров настройки моделей (H1), уровнями сложности и таксономии (H2).
• Множественный выбор обусловливает значимое снижение количества верных ответов (Н3).

Прежде чем статистически подтверждать гипотезы, следует обратить внимание на средний уровень точности ответов (табл. 2). Значение параметра «температура»⁸ для всех тестов равнялось единице. Общие результаты тестирования показывают, что GPT-4 не составил серьезной конкуренции GigaChat Pro. Тем не менее, в текущем состоянии ни GigaChat Pro, ни GPT-4 нельзя использовать в профессиональных целях без специальных корректирующих процедур (промптинг, тонкая настройка и т. д.), поскольку фиксируется общая низкая доля правильных ответов (не более 50%). Это означает, что степень владения теоретической базой принципиально важна для дальнейшего дообучения обеих моделей, поскольку пока отсутствует устойчивое владение ядром знаний — дисциплинами, составляющими основу для профессионализма. Отмечена низкая корреляция степеней сложности и таксономии как для GigaChat Pro, так и для GPT-4.

 

Табл. 2. Сравнительные показатели доли правильных ответов по тестируемым языковым моделям (%)

Модель	CoT	Non-CoT
GigaChat Pro	34	38
GPT-4	45	46
Источник: составлено авторами.

 

Из табл. 3 видно, что для GigaChat Pro при прочих равных условиях воспроизвести теорию не составляет труда, но не более чем на 45% в самом легком случае. Актуальные характеристики не позволяют говорить о достаточном понимании моделью сути заложенных в нее концепций и выбора контекста для их использования. С задачей простого применения теории, без размышлений о ее соответствии реалиям, GigaChat Pro справляется в целом лучше, хотя разрыв между уровнями понимания и применения в среднем составляет не более 1.5% (в пользу последнего).

 

Табл. 3. Матрица сопряженности таксономии и сложности для GigaChat Pro (доля правильных ответов, %)

Таксономия / уровень сложности	Легкий	Средний	Высокий
Воспроизведение	44.8	37.1	40.3
Понимание	43.3	34.0	31.7
Применение	41.9	33.6	33.7
Источник: составлено авторами.

 

Низкий показатель доли верных ответов (менее 50%) указывает на слабое владение теорией, не позволяющее моделям задействовать на практике накопленные знания. Значительный разрыв между компонентами «воспроизведение» и «применение» означает, что само по себе наличие данных в претрейне, вне зависимости от их объема, — недостаточное условие для возможности профессионального использования LLM (табл. 4).

 

Табл. 4. Матрица сопряженности таксономии и сложности для GPT-4 (доля правильных ответов, %)

Таксономия / уровень сложности	Легкий	Средний	Высокий
Воспроизведение	54.4	46.4	45.8
Понимание	52.7	44.5	40.8
Применение	49.2	45.3	44.3
Источник: составлено авторами.

 

Тестовая модель 1 описывается по формуле:

Status_i = β₀ + β₁ * Difficulty_i + β₂* Taxonomy_i + ∈_i (1),

где: β — константа (значение уравнения при условии, что все переменные будут равны 0); Difficulty_i — уровень сложности; Taxonomy_i — элемент таксономии; ∈_i — стандартная ошибка (отклонение прогнозной величины от реального значения переменной).

Согласно гипотезе H1, количество параметров настройки почти не влияет на шансы получения верного ответа, что подтверждено в ходе регрессионного анализа по спецификации OLS (см. описание Модели 1 в табл. 5). Статус ответа (правильный либо неправильный) является зависимой переменной, а роль независимых играют степени сложности и таксономия. Несмотря на то что GPT-4 имеет почти 2 трлн параметров против 40 млрд у GigaChat Pro, различия в вероятности получения правильного ответа между ними малозначимые — около 10%. Иными словами, обе модели, несмотря на многократный разрыв в параметрическом многообразии, пока плохо справляются с сопоставлением теории и практики. Более того, в каждом из двух кейсов доли верных ответов оказались выше, когда опция CoT не использовалась. Очевидно, что простое увеличение числа параметров настройки в разработке LLM наталкивается на проблему «потолка производительности», и такого подхода явно недостаточно, чтобы говорить о перспективах дальнейшего совершенствования генеративных моделей.

 

Табл. 5. Параметры модели для тестирования гипотезы Н1

Зависимая переменная (статус – 0/1)	GPT-4		GigaChat Pro
	non CoT	CoT	non CoT	CoT
Intercept	0.52***	0.51***	0.45***	0.4***
Difficulty	-0.04***	-0.05***	-0.05***	-0.04***
Taxonomy	-0.01	-0.01	-0.02**	-0.01*
Число наблюдений	13225	13225	13225	13225
AIC	1.665e+04	1.665e+04	1.665e+04	1.665e+04
BIC	1.669e+04	1.669e+04	1.669e+04	1.669e+04
Примечания: Статус: 0 — неправильный ответ; 1 — правильный ответ. * — p < 0.05, ** — p < 0.01, *** — p < 0.001. Источник: составлено авторами.

 

Другой неожиданный вывод заключается в том, что влияние степени сложности на шанс точного ответа, несмотря на статистическую значимость, имеет низкий коэффициент. При прочих равных условиях усложнение вопроса снижает вероятность корректного ответа лишь на 4–5% для всех моделей. Фактор таксономии статистически значим только для GigaChat Pro, но коэффициент составляет всего 1%.

В соответствии с гипотезой H2 LLM могут совершать ошибки как в сложных, так и в простых задачах. Фактор таксономии не производит заметного эффекта. Гипотеза проверена с помощью тестовой модели 2 (табл. 6):

 

Табл. 6. Параметры модели для тестирования гипотезы Н2

Зависимая переменная (статус – 0/1)	GPT-4		GigaChat Pro
	non CoT	GPT-4 CoT	non CoT	GigaChat Pro CoT
Intercept	0.54***	0.54***	0.47***	0.41***
Difficulty	-0.06***	–0.1***	–0.07***	–0.05***
Taxonomy	–0.03**	–0.03**	–0.03*	–0.02*
Difficulty* Taxonomy	0.02*	0.03**	0.02	0.01
Число наблюдений	13225	13225	13225	13225
AIC	1.665e+04	1.665e+04	1.665e+04	1.665e+04
BIC	1.669e+04	1.669e+04	1.669e+04	1.669e+04
Примечания: Статус: 0 — неправильный ответ; 1 — правильный ответ. * — p < 0.05, ** — p < 0.01, *** — p < 0.001. Источник: составлено авторами.

 

Status_i = β₀ + β₁ * Difficulty_i + β₂* Taxonomy_i + β₃* (Difficulty_i * Taxonomy_i) + ∈_i (2).

Результаты показывают, что применительно к GPT-4 значимость взаимодействия таксономии и сложности невелика, а в случае GigaChat Pro она отсутствует. По каждому проверочному вопросу влияние данного фактора незначительно, тем не менее для GPT-4 оно позитивно. Возможное объяснение положительного коэффициента состоит в том, что степень понимания при среднем уровне сложности представляет наибольшую проблему при выполнении заданий GPT-4. В целом, значимые, но небольшие коэффициенты для GPT-4 и несущественные для GigaChat Pro свидетельствуют в пользу гипотезы Н2. Есть основания констатировать, что LLM по-прежнему допускают ошибки даже в простейших случаях запоминания, не говоря уже о сложных задачах применения или понимания (процесса, теории и т. д.).

Проверочная модель для гипотезы Н3 о том, что множественный выбор обусловливает статистически значимое уменьшение числа корректных ответов для каждого тестируемого объекта, имеет вид:

Status_i = β₀ + β₁ * Difficulty_i + β₂* Taxonomy_i + β₃ * (Difficulty_i * Taxonomy_i) + β₄ * Multiple_i + ∈_i (3),

где Multiple_i — фактор множественного выбора.

Расчеты, представленные в табл. 7, показывают статистически значимую, но отрицательную взаимосвязь между фактором множественного выбора и вероятностью правильного ответа для всех языковых моделей. Данное наблюдение, как и значение коэффициента, подтверждает ранее высказанное предположение о том, что LLM хуже справляется с множественным выбором. При использовании CoT вероятность ошибки растет значительно: от 23% до 41%. В целом GigaChat Pro работает с CoT лучше, чем GPT-4. Иными словами, чем разнообразнее задача, тем хуже результаты генеративных моделей в ее выполнении. Налицо противоречие такому атрибуту профессионализма, как умение справляться со сложными ситуациями и неопределенностью.

 

Табл. 7. Параметры модели для тестирования гипотезы Н3

Зависимая переменная (статус – 0/1)	GPT–4		GigaChat Pro
	non CoT	CoT	non CoT	CoT
Intercept	0.58***	0.61***	0.58***	0.47***
Difficulty	–0.05***	–0.07***	–0.05***	–0.04***
Taxonomy	–0.03**	–0.03**	–0.03**	–0.02*
Taxonomy* Difficulty	0.01	0.02**	0.01*	0.002
Multiple	–0.23***	–0.41***	–0.24***	–0.35***
Число наблюдений	13225	13225	13225	13225
AIC	1.665e+04	1.665e+04	1.665e+04	1.665e+04
BIC	1.669e+04	1.669e+04	1.669e+04	1.669e+04
Примечания: Статус: 0 — неправильный ответ; 1 — правильный ответ. * — p < 0.05, ** — p < 0.01, *** — p < 0.001. Источник: составлено авторами.

 

Напомним, что во время написания статьи появились новые версии LLM — GPT-4o1 и GigaChat MAX, которые нельзя не учитывать. Поэтому они также подверглись оцениванию, хотя и без статистических моделей (табл. 8), что повышает общую актуальность проведенного тестирования.

 

Табл. 8. Результаты предварительного тестирования новых версий моделей GigaChat и GPT-4

Языковая модель (режим тестирования)	Доля правильных ответов	Прирост доли по отношению к предыдущим версиям
GigaChat MAX (non-CoT)	49%	+10% в сравнении с GigaChat Pro
GPT-4o1 (non-CoT)	51%	+5% в сравнении с GPT-4
Источник: составлено авторами.

 

Полученные результаты подтверждают предположение, согласно которому более высоким потенциалом профессионального развития обладают LLM с меньшим количеством параметров. Дальнейшее увеличение числа последних не приведет к «взрывному» приросту компетенций у ИИ, для обеспечения которого требуются принципиально иные подходы. Детальные испытания языковых моделей будут продолжены.

Заключение

В статье проиллюстрированы современный уровень развития генеративного ИИ и перспективы его профессионального применения. GPT-4 и GigaChat демонстрируют удовлетворительную результативность в переводе и резюмировании текстов, создании иного контента. Тем не менее, работа языковых моделей по-прежнему нуждается в скрупулезном контроле со стороны человека. Следовательно, отсутствуют объективные основания для их признания в качестве самостоятельных профессиональных помощников. Наш эмпирический анализ показал, что LLM ошибаются не только в сложных заданиях, но и в элементарных. Подражая поведению Остапа Бендера⁹, они подстраиваются под контекст, но не выявляют научной истины и не используют ее в ответах в качестве норматива. Отсюда вытекает ключевой сдерживающий фактор для профессиональной продуктивизации инструментов ИИ. В качестве аналогий представим, что условный работодатель нанял юриста, допускающего непредвиденные ошибки при толковании положений законодательства, или экономиста, не способного рассчитать оптимум Парето, или преподавателя, не проводящего различий между тьюторством и развивающими методами обучения. Существует неопределенность в отношении того, при решении каких задач помощник допустит больше ошибок. Заранее известно лишь то, что ошибки будут и, строго говоря, их частота не будет зависеть от запаса общих «знаний» ассистента.

Основные гипотезы статьи подтверждены тестированием с применением трех регрессионных моделей и нашли дополнительное обоснование на первичных результатах анализа новых версий LLM — GPT-4o1 и GigaChat MAX. Можно отметить продвижение в их развитии, уровень которого, впрочем, по-прежнему недостаточно.

Новые многообещающие направления в совершенствовании генеративного ИИ связывают с оркестровкой LLM (Zhou et al., 2024), использованием графов для увеличения связности знаний, отбираемых для обучения, имитацией человеческих когнитивных процессов (Jin et al, 2023; Zhu et al., 2024; Wen et al., 2023; Yang et al., 2023), а также разработкой специальных глоссариев, переводящих терминологию ядра знаний в понятную для языковых моделей форму. Обозначенные темы получат раскрытие в наших будущих публикациях.

Авторы благодарят коллег из НИУ ВШЭ Елену Карданову, Элен Юсупову и Ксению Тарасову за организацию работы исследовательского коллектива и уникальную психометрическую экспертизу, ставшую методологической основой статьи. Выражается признательность команде «СалютДевайсы» за открытость к сотрудничеству с академическим сектором, в частности Денису Филиппову, Федору Минькину, Евгении Евдокимовой, Сергею Козлову, Валерии Заниной и Ирине Кобзаревой, обеспечившим условия для проведения эксперимента.

 

¹ https://www.statista.com/forecasts/1474143/global-ai-market-size, дата обращения 27.09.2024.

² https://issek.hse.ru/news/981416418.html, дата обращения 13.11.2024.

³ Для сравнения: в 2022 г. доля сельского хозяйства в мировом ВВП составляла 4.27%. https://www.statista.com/statistics/256563/share-of-economic-sectors-in-the-global-gross-domestic-product/, дата обращения 11.10.2024.

⁴ https://www.ixbt.com/live/offtopic/pravda-li-chto-mozhno-sdelat-zoloto.html, дата обращения 17.10.2024.

⁵ Например, в казну Великобритании за отчетный период с апреля 2022 г. по март 2023 г. за счет пассажирских перевозок поступило около 8.6 млрд ф. ст. (ORR, 2023).

⁶ Цена декабрьского контракта на золото на Чикагской товарной бирже (Chicago Mercantile Exchange, CME) выросла на 0.77%, поднявшись до 2750.9 долл. за унцию впервые в истории человечества. https://www.barchart.com/futures/quotes/GC*0/profile, дата обращения 22.11.2024.

⁷ Претрейн (pre-train) — этап машинного обучения, заключающийся в формировании базы знаний. Наибольшая сложность заключается в выборе максимально полезных сведений из «бесконечного» потока интернет-данных, где возникает парадокс. С одной стороны, если осуществлять обучение модели каждый раз при внесении очередного обновления в набор данных (датасет), то этот процесс окажется слишком ресурсоемким и будет идти медленно. С другой — если проводить «тренинг» после накопления «критического массива» обновлений, то возрастают риски неверного обучающего трека и, как следствие, падения качества генерируемых ответов. Поэтому работа с претрейном — своеобразное искусство балансирования. Источник: https://habr.com/ru/companies/yandex/articles/759306/, дата обращения 20.10.2024.

⁸ Температура — параметр тонкой настройки случайности для выходных данных языковой модели, измеряемый по шкале от 0 до 1. Понижение его величины приводит к предсказуемым и «традиционным» ответам на запрос пользователя. Напротив, чем выше значение данного показателя, тем больше креативности и разнообразия следует ожидать в выдаваемых результатах. Например, меньший уровень температуры можно использовать для получения фактологических ответов, тогда как ее увеличение оказывается полезным для решения творческих задач. Источник: https://learn.microsoft.com/ru-ru/ai-builder/prompt-modelsettings, дата обращения 21.10.2024.

⁹ Остап Бендер — герой романа И. Ильфа и Е. Петрова «Двенадцать стульев», отличающийся способностями к излишнему изобретательству, подстраиванию под любого собеседника, воспроизводству ложных фактов. В иностранной литературе ближайшим аналогом такого персонажа можно считать барона Мюнхгаузена.

About the authors

Yaroslav Kouzminov

National Research University Higher School of Economics (HSE University)

Author for correspondence.
Email: kouzminov@hse.ru

Academic Supervisor

Russian Federation, 20, Myasnitkaya str., Moscow 101000

Ekaterina Kruchinskaia

National Research University Higher School of Economics (HSE University)

Email: ekruchinskaya@hse.ru

Senior Lecturer, Department of Higher Mathematics

Russian Federation, 20, Myasnitkaya str., Moscow 101000

References

Supplementary files