Large language models and their role in modern scientific discoveries

Full Text

1.  Обзор научных открытий, сделанных при помощи LLM, за период с 2019 по 2024 г.

Научные открытия, сделанные при помощи LLM, начинают постепенно видоизменять традиционное представление о научной деятельности как о деятельности, связанной с исключительной ролью человека или человеческого коллектива в научных изысканиях. Роль человека сопрягается в этом контексте с компьютерным алгоритмом, мощность которого на современном этапе развития техники и технологии позволяет взять «часть научной работы, научного поиска» на себя, сокращая, таким образом, трудовые и временные затраты на осуществление научно-исследовательской деятельности.

Области «научного прорыва» LLM начинают постепенно расширяться. Это достигается не только количественным образом – разработкой LLM-алгоритмов под каждую конкретную задачу, но и качественным образом – переносом LLM-алгоритма из одной научной отрасли в другую (или другие).

Поскольку практически любая научная отрасль связана с моделированием процесса вычислений – числовых и пространственных, то первоочередной значимостью характеризуются LLM-алгоритмы, связанные с областью математических знаний. Одним из таких алгоритмов является система FunSearch [1], выраженная в интеграции предварительно обученной LLM с системным оценщиком, где LLM дает базу алгоритмов в виде компьютерных программ, а оценщик выделяет из этих программ наиболее эффективные; затем эффективные программы опять передаются в LLM – так совершенствуется работа алгоритма «FunSearch». Благодаря LLM «FunSearch» были решены две задачи – классическая задача из чистой математики «проблема множества крышек», а также задача об оптимальной упаковке контейнеров. Последнюю задачу можно интерпретировать как междисциплинарную, поскольку она определяется не только предметной математической значимостью, но также сосредотачивает в себе ценность для прикладной информатики. Вместе с тем, сам фактор возможности обучения компьютерной программы «внешним агентом» сопрягается с условной областью «алгоритмической компьютерной дидактики», которая, в свою очередь, может нести в себе алгоритмическую ценность для традиционной дидактики, образуя возможности контекстного видоизменения образовательной системы в соответствии с теми или иными задачами. Таким образом, алгоритм напрямую трансформируется в средство решения социальных проблем.

Современные «математические LLM» не ограничиваются лишь решением проблем, связанных с числовыми комбинациями или числовым моделированием, – большую важность представляет также и решение проблем пространственно-геометрического характера, разработка которых, в настоящий момент, является достоинством LLM-системы AlfaGeometry от DeepMind [2]. Одним из ключевых направлений этой LLM-системы является решение сложных геометрических задач олимпиадного уровня. AlfaGeometry способна состязаться с золотым медалистом Международной математической олимпиады (IMO). Данный LLM-алгоритм справляется с 25 олимпиадными задачами за установленное время с опережением предыдущей системы на 15 позиций. Если, по негативной оценке, этот алгоритм может привести к отсутствию необходимости организации математических соревнований или, как конечный результат, к полному исчезновению профессии математика, то в положительной оценке математические соревнования, как и сама профессия, могут быть подвергнуты некоторым видоизменениям. Обучающиеся получают возможность посоревноваться с компьютерным алгоритмом в решении определенных задач, причем оцениваться может самостоятельность решения какой-либо определенной геометрической задачи LLM в ее исходном исполнении в сравнении с использованием обучающимся какой-либо ее версии в решении аналогичных задач. Кроме того, LLM может упростить процесс проверки решений олимпиадных задач, освободив время на проработку контекста вопроса олимпиадной задачи. Таким образом, несколько изменится профессия математика как учителя или преподавателя, занятого в методологии решения олимпиадных задач, или же в различных разделах или уровнях математики – от школьного до высшего уровня. Соответственно, упрощается работа и профессиональных математиков, где контекст решения пространственно-геометрической задачи является сборником LLM-алгоритмов, успешно справившихся с решениями более простых композиций или конструкций задач, связанных с исходной.

Продолжением работы компании DeepMind над совершенствованием «математических LLM» явилась разработка программного продукта AlphaTensor [5], нацеленного на алгоритмическую оптимизацию операции матричного умножения. Данная операция на вопросно-проблемном уровне задействуется в вычислительной технике, где постоянно требуется повышение эффективности расчетных операций. AlphaTensor можно представить как игровой программный алгоритм, направленный на поиск решения с наикратчайшей цепочкой ходов. При этом он не является предварительно обученным – изначально, перед вхождением в игру, ему ничего не известно о характере алгоритмизации заданной матричной операции. AlphaTensor, как алгоритмический поисковик, стал настоящим конкурентом человеческой логики и научной интуиции, даже своеобразной «научной насмотренности».

Математика определяется постановкой не только проблемно-алгоритмического контекста поиска решения задачи, но также и теоретико-доказательного контекста, где проблема представлена определенной теоремой, нуждающейся в доказательстве. По мере усложнения математики, усложняются и теоремы (в упрощенном виде как набор каких-либо конечных алгоритмов) и, соответственно, доказательства этих теорем – они становятся более объемными. Эта проблема не может не привлекать к себе программные возможности ее решения. В первую очередь, в этом контексте стоит отметить использование программного продукта Coq для доказательства теоремы Фейта-Томсона, известной также как «теорема о нечетном порядке» [3]. Областью функционирования теоремы является математический раздел «Теория групп». Следует отметить, что программная разработка этой теоремы производилась до разработки архитектуры «Трансформер», а следовательно, лишена достоинств оптимизации в действующем вычислительном контексте больших языковых данных, поэтому особой значимостью определяется оптимизация действующего алгоритма доказательства в контексте эмуляции работы Coq на платформе LLM с архитектурой «Трансформер» или в рамках интеграции в LLM-механизм алгоритма «FunSearch».

Решение научных задач в области математики тесным образом взаимосвязано с решением аналогичных задач в рамках физической науки. Характерным примером тому является система SciNet [4], которая на математической базе способна анализировать экспериментальные физические разработки. В частности, с помощью этой системы исследована специфика периодического обратного орбитального движения Марса, что ранее являлось препятствием для гелиоцентрической интерпретации мироздания. Предметно астрономический аспект решенной задачи SciNet позволяет создавать формульно-алгоритмическую базу разработки схожих алгоритмических задач из других естественнонаучных дисциплин.

Вместе с тем, совместные физико-математические наработки могут помочь в решении задач в такой передовой отрасли, как квантовая механика, и в сопряженном с ней анализе квантовых систем. «Физики из МФТИ, ФТИАН и Университета ИТМО создали нейронную сеть, которая предсказывает, «глядя» на схему узлов и связей, будет ли та обладать квантовым преимуществом. Проще говоря, подходит ли ее конфигурация (граф) для создания на ее основе квантовых систем. Если чуть сложнее, дадут ли квантовые блуждания внутри этой схемы выигрыш в скорости вычислений» [6].

Также в части физических LLM стоит отметить, что разработан, реализован и протестирован алгоритм трехмерной сейсмической инверсии на основе машинного обучения с использованием трехмерного сверточного моделирования в глубинной области для создания обучающего набора данных и нейронной сети U-Net для реконструкции модели трещин [17].

Сопряжение научных достижений из математики и физики может стать значимым толчком для развития такой важной научной отрасли, как биология. Это можно выразить в современном достижении компании DeepMind в нейросетевой разработке алгоритма AlphaFold, способного прогнозировать 3D форму практически любой белковой структуры [15], с учетом количественного множества таких структур, превышающего 200 миллионов молекул.

«Высокие гуманитарные технологии основаны на применении высоких технологий управления техническими объектами в условиях динамики и неопределенности к решению задач инновационного развития в условиях быстрых изменений» [13]. На основе этого свойства проистекает то обстоятельство, что, несмотря на значимость исследований LLM в точных и естественных научных областях, следует отметить тот факт, что все они, в той или иной мере, базируются на кодификации языковых единиц, где язык представляет собой не меньшую ценность в сравнении с сопрягаемой дисциплинарной логикой изложения научного материала.

В этой связи образуется актуальность развития «прямых языковых LLM». Так, например, Российское историческое общество и «Сбер» при участии Санкт-Петербургского научно-исследовательского института РАН в 2020 году инициировали конкурс по расшифровке рукописного наследия Петра I с помощью искусственного интеллекта. Его итогом явилась разработка программного продукта «Digital Петр», обученного на датасете из 10000 строк и позволяющего распознавать рукописи Петра I с помощью компьютерного зрения [14]. Точность распознавания является впечатляющей и составляет 97,6%, что значительно превышает точность известного аналога данной системы «Transkribus» в размере 68,1%. Распознавание производится в 5 этапов: поиск строки, анализ строки, извлечение признаков, анализ последовательности и финальное формирование текстовой строки с транскрибацией рукописного текста.

2.  Является ли результат анализа данных новым знанием?

Если анализ данных сопрягается с такими категориями, как «информация», «данные» и «знания», то крайне важно представлять контекст дефиниций этих понятий. «Данные состоят из базовой, неочищенной и, как правило, нефильтрованной информации. Информация – это гораздо более точные данные, которые эволюционировали до такой степени, что стали полезными для той или иной формы анализа. Знание находится в пользователе… это происходит только тогда, когда человеческий опыт и проницательность применяются к данным и информации» [7].

Анализ данных можно представить как естественный процесс обработки компьютерным алгоритмом какого-то определенного набора информации, где, по итогу, получается определенный результат – данные, но несколько видоизмененной формы. Группировка этих данных способна, через некоторую цепь преобразований, свести их к знанию, где знание представимо как «то, что выражается обоснованным, общезначимым, интерсубъективным предложением или системой таких предложений» [10]. В свою очередь, важно представить также свойства нового знания. «Новое знание – совокупность сведений о существовании каких-либо объектов или их свойств, о процессах и явлениях действительности, ранее не известных науке и не входящих в существующую на какой-либо данный момент систему человеческих представлений о мире» [11, с. 605].

Анализ данных, как функциональная система, сопряженная с поиском знания, приводит к следующему вопросу: является ли результат анализа данных новым знанием? Здесь мы должны прийти к двум моделям:

1. Тождественность анализа данных и нового знания.
   На основании условия тождественности возникает вопрос: при введении каких-либо условий можно ли достигнуть равенства между анализом данных и новым знанием или нельзя? Функционально роль анализа данных и нового знания могут совпадать, что можно выразить в предметной привязке к научной литературе:

   • «Анализ данных можно определить как процесс поиска скрытых закономерностей и генерации новых знаний. Анализ данных – междисциплинарная область знаний, находящаяся на стыке математики, теории алгоритмов и информационных технологий» [8, с. 5].

   • «Анализ данных используется для получения новых знаний об изучаемом объекте (процессе, явлении)» [9, с. 6].

   Тождественность анализа данных и нового знания может достигаться посредством использования функциональных возможностей такого субагента, как датификация. Новый термин «датификация» определяет процесс преобразования привычных для нас форм восприятия действительности в цифровую форму, что обеспечивает возможность получения новых знаний для решения самых разных задач [9, с. 5]. Датификация позволяет обернуть анализ данных в процесс – в цифровой процесс, благодаря которому можно достигнуть его тождественного представления с новым знанием. Этот процесс, в таком случае, является как бы балансировщиком между анализом данных и новым знанием – в нужный момент он сопрягает проблемы и задачи каждой из систем, образуя между ними межсистемную тождественную связь. В результате анализ данных и новое знание – это необязательно прямая тождественная связь; ее достижение может быть результатом взаимодействия некоторого количества субагентов, связывающих внутренние объекты и процессы анализа данных и нового знания на уровне межсистемного взаимодействия.

2. Нетождественность анализа данных и нового знания.
   Если анализ данных может приводить к новому знанию, то в каких случаях этого может не происходить? Как было установлено ранее, знание требует применения человеческого опыта к данным и к информации, и получается, что отсутствие знания сопрягается с неиспользованием этого самого опыта. В случае же нового знания анализ данных, в таком случае, должен сосредотачиваться вокруг входящих в существующую на какой-либо данный момент систему человеческих представлений о мире. Таким образом, если анализ данных, его результат, попросту повторяет какую-либо систему представления человека об окружающей действительности, то отсутствует тождественность этого анализа с новым знанием.

   Однако может ли быть такое, что анализ данных в своей основе не задействует человеческий опыт? В таком случае он должен либо отсутствовать, либо иметь альтернативу – например, выражаться в «машинном опыте». Если машинный опыт и человеческий опыт можно представить как тождественные, тогда результат анализа данных должен приводить к новому знанию или с применением человеческого опыта, или с применением машинного опыта. Возникает вопрос: «А может ли машинный опыт не быть тождественным человеческому опыту в течение какого-либо промежутка времени?». Такая ситуация возможна, если машинный опыт породил какое-то определенное количество метафор, которые в установленный промежуток времени не были каким бы то ни было образом интерпретированы человеком, не образовали его опыт. То есть самостоятельная работа машины с данными, которые человеку нужно будет в дальнейшем интерпретировать, во временные промежутки отсутствия самой интерпретации или ее проведения, не является новым знанием как таковым.

Если информация представляет собой точные данные с потенциальной полезностью для их непосредственного анализа, то, в случае представления результата анализа данных в качестве информации – набора каких-то точных данных для последующего анализа, является ли такая информация новым знанием? С введением в возможную тождественную связь анализа данных и нового знания субагента в виде «информации» действительно ли эта связь возникает? Результатом анализа данных может быть не новое знание, а просто уже имеющееся и действующее знание, которое контекстуально может быть сопряжено с информацией в ее заданной характеристике – на этом этапе переход от анализа данных к новому знанию не представляется возможным. В то же время, если продолжить эту цепь, где информация будет переходить в другую информацию и поступательно укрупняться как система, то в какой-то момент времени результат анализа данных такой информации потребует их машинной интерпретации, которая, в свою очередь, уже будет нуждаться в «человеческой интерпретации», происходящей не сразу, – поэтому, на этом этапе, возникают предпосылки для тождественности анализа данных и нового знания.

В рассматриваемом контексте увязки тождественности и нетождественности анализа данных и нового знания также возникает вопрос: «Может ли анализ данных и новое знание быть одновременно тождественными и нетождественными (при разных внешних условиях для тождественности и нетождественности)?». Иными словами, при различных условиях переход из анализа данных в новое знание может быть как возможным, так и невозможным. Все будет зависеть от того, какие данные используются изначально, нужно ли их интерпретировать и кому изначально их проще интерпретировать – человеку или же машине. Поэтому допускается ситуация, что анализ одних данных может сопрягаться с получением нового знания, в то время как анализ других данных, в своем абсолюте, – не представлять собой какое-то новое знание, а быть новым лишь в локальном смысле. Но если знание является новым в локальном представлении, то оно должно сохранять свои интерсубъективные качества – иначе оно перестает быть знанием как таковым – то есть общезначимый и локальный ценностный компоненты нового знания, в конечном счете, должны быть уравнены – через тот или иной период времени.

3.    Перспективы научного творчества в эпоху больших вычислений

 Большие вычисления позволяют качественным образом упрощать модели работы с наукой, с научным творчеством и со всеми производными от них категориями.

1. Научная «насмотренность». Научное творчество является результатом анализа большого количества научных данных, которые в индивидуальном познании деятеля науки можно свести к профессиональной «насмотренности». Благодаря большим вычислениям отдельные компоненты такой «насмотренности» могут быть подвержены многообразным группировкам, приводящим к неким «уникальным группировкам», способным быть оформленными в качестве нового научного опыта или быть его основанием. Платформами развития научной «насмотренности» могут быть практически все легально действующие интернет-ресурсы, которые способны выполнять функции исходной функции или исходного концентрата научного исследования; индивидуальная группировка интернет-ресурсов также носит ценностный научный характер, позволяя выстраивать алгоритмы логических цепочек продвижения научного знания в научных отраслях и на их стыках.

2. Соревновательные научные изыскания. Одним из способов выражения научного творчества является соревновательная деятельность, где качество научного творчества сопоставляется с некоторой системой критериев и оценок, обусловленных самими условиями соревнования. В данном случае характерным примером может являться олимпиадная деятельность по определенному научному предмету, где успешность прохождения олимпиады оценивается системностью подходов к решению той или иной олимпиадной задачи. Олимпиадная деятельность может значительным образом ускорить научный поиск, в особенности если он связан с возможностью применения каких-либо больших вычислительных технологий на базе научного базиса той или иной дисциплины.

На уровне организации школьного олимпиадного движения большими перспективами ускорения научного поиска обладают ежегодно проводимые на базе международного математического турнира «Турнир Городов» летние конференции. Как отмечается на портале турнира, «одна из целей конференции – приобщить способных школьников к решению задач исследовательского характера» [16]. Участники, успешно справившиеся с заданиями олимпиады, решают математические задачи исследовательского характера, некоторые из которых связаны с открытыми математическими проблемами. Оценивается наибольшее продвижение по каждой из предложенных задач в рамках проекта. Работа над проектом может быть как индивидуальной, так и командной. Задачи могут носить междисциплинарный характер и представлять ценность не только для математики, но также и для физики, химии, биологии, информатики и т. п. То есть допускается возможность разработки в рамках конференции задач, способных продвигаться в решении тех или иных алгоритмических проблем в контексте больших вычислений.

В случае возможной интеграции конференции с сессионными мероприятиями на базе крупных российских IT-организаций, таких как «Яндекс», «VK», «Сбер» и др., становится возможной разработка задач, решающих одновременно и корпоративные проблемы той или иной компании, с перспективой дальнейшего трудоустройства наиболее успешных участников конференции или участников, справившихся с проектом или определенной проектной задачей, которая предоставлена конкретной IT-организацией.

3. Иммерсивные научные изыскания. Виртуализация и геймификация повышают возможности удаленного моделирования «ограничителей» научного исследования или же создания всех необходимых условий для его проведения или осуществления экспериментальной научной работы. Ценность иммерсивных научных изысканий заключается в возможности неограниченного видоизменения условий эксперимента без нанесения опасного вреда всем задействованным в процессе исследования объектам или внешней среде в целом (за исключением вырабатываемой в процессе работы тепловой энергии от компьютерных элементов, нуждающейся в контроле, или вероятных иных пагубных мероприятий, связанных с работой компьютерной техники под нагрузкой).

4. «Машинное обучение машинного обучения». Обучение компьютерных программ выполнению различных операций различными внешними алгоритмическими агентами формирует вопрос, связанный с возможностью количественной оценки реализации таких вложенных циклов обучения, – того, какой объем компьютерных программ необходимо обучить исходным алгоритмом для решения задачи. Таким образом, научное творчество в решении исследовательских задач может сводиться как раз к оценке оптимальности таких «компьютерных вложенностей», анализу того, как видоизменяется эффективность решения задачи в монолитной или микросервисной архитектуре организации работы компьютерных программ в решении научной задачи.

Помимо непосредственной оценки роли компьютерных программ в этом процессе, также возникает вопрос, связанный с местом человеческого оценщика в анализе системы машинного обучения, – того, на каких этапах необходимо вводить человека в анализ работы компьютерного алгоритма. Научное творчество позволяет представить это качество в виде экспериментальной работы в эмулируемых программных средах для определенных задач, где относительная оценка научного творчества сопоставима с изменчивостью роли человека-оценщика в таком программном моделировании. Конструкт «машинное обучение машинного обучения» непосредственно сопрягается с конструктом детерминированной каузальности, где «всякое вычислимое состояние определяет последующее вычислимое состояние» [12].

5. Робот как носитель больших вычислений. Прорыв в области техники и технологии с использованием LLM-систем также состоит в возможности их практически безграничного технического использования, что позволяет напрямую задействовать их практически в любом роботизированном механизме. Таким образом, LLM-системы способны получать более выраженную материальную оболочку, что расширяет возможности научного творчества путем не только работы с программной платформой LLM-системы, но также с ее прямыми компонентными увязками с теми или иными робототехническими механизмами.

Человек может определять, в какой мере робот может сам манипулировать данными, получаемыми из LLM-системами; какие именно механизмы могут быть увязаны с внешним контролем LLM, а какие необходимо оставить в прямом доступе «к человеческому контролю» и т. п. Кроме того, робот как возможный носитель некоторых человеко-социальных признаков способен упростить определенные процессы моделирования социальных взаимодействий, которые, как известно, на естественно-экспериментальном уровне крайне сложны – как для произведения, так и для последующих воспроизведения и интерпретации. То есть становится возможным моделирование различных социально-управленческих моделей на их роботизированном приближении, где можно замкнуть алгоритмическую цепь – социальный алгоритм, в виде исходных данных, манипулирующих деятельностью LLM, получает роботизированную материальную оболочку и материально воспроизводится, отождествляясь в управленческой модели, которая, при необходимости, его видоизменяет и оставляет в прежнем, но уже оцененном, виде, выраженном как «потенциальное исходное данное» для дальнейшего применения в аналогичных или сторонних LLM-системах. Таким образом, можем снова перейти к модели «машинное обучение машинного обучения».

6. Большие вычисления как прямые агенты научного творчества. Несмотря на все указанные тенденции, эпоха больших вычислений сама дает подсказку, что следует рассматривать в качестве основного агента научного творчества – это большие вычисления. Исследования ресурсов, которые могут подкреплять эти вычисления: природных, финансовых и т. п.; алгоритмов, локально и системно оптимизирующих эти вычисления; самих людей, которые будут технически и культурологически обслуживать эти вычисления, – концентрируют внимание на больших вычислениях как на естественном запросе общества, его объективной потребности в стремлении к более совершенным формам общественного прогресса.

Таким образом, большие языковые модели – это эффективный инструмент научного поиска и научного творчества. И в том, и в другом случае большие языковые модели как бы «сталкиваются» с проблемой того, насколько их можно воспринимать в качестве самостоятельного агента – насколько они могут быть независимы от человеческой деятельности. К этому сводится процесс поиска ответа на вопрос: «Является ли результат анализа данных новым знанием?». То есть то, что нашла машина, – это новое знание? Как было отображено в исследовании, процесс поиска ответа на этот вопрос сводится к тому, когда взаимодействуют человек и машина. Кроме того, важно, к какому объему информации есть доступ – как у человека, так и у машины. Поэтому ответ на вопрос «Является ли результат анализа данных новым знанием?» является скорее контекстуальным. И да, и нет. При этом сохраняется актуальность поиска наибольшего количества «контекстов» – как для первого ответа, так и для второго.

Если первый вопрос исследования – это скорее вопрос области научного поиска, то второй вопрос – «Каковы перспективы научного творчества в эпоху больших вычислений?» – это вопрос области научного творчества, ответ на него может быть свободен и ограничен только фантазией его исследователя.

В результате оба рассмотренных в исследовании вопроса сохраняют свою актуальность с точки зрения более контекстуального рассмотрения: затрагивание обоих вопросов как перспективы научного исследования позволяет сохранять баланс между стремлением к стандартизации научного поиска и субстандартизации основанного на нем научного творчества.

About the authors

V Yu. Filimonov

Author for correspondence.
Email: fil2016vo@yandex.ru

postgraduate student at the Institute of Top-Qualification Personnel Training

References

Supplementary files