Искусственный интеллект при написании научных статей – положительный или вредоносный фактор?

Полный текст

В последние десятилетия искусственный интеллект (ИИ) стал неотъемлемой частью многих аспектов жизни общества [Аблеев, 2015; Головченко и др., 2024; Дитковская, 2024; Иванова, 2024; Каневский, 2023; Маляревич, 2024; Моисеев, 2023; Рыбалко и др., 2023; Савельева, 2023 и др.], включая научные исследования и написание научных статей. Современные инструменты, такие как уже хорошо известные ChatGPT, Perplexity PRO, Google Gemini, Microsoft Copilot, и появившиеся отечественные аналоги GigaChat и YandexGPT и др. способны обрабатывать огромные объемы информации, анализировать данные и даже генерировать текст, что открывает новые горизонты для исследователей. Однако, несмотря на все преимущества, использование ИИ вызывает обеспокоенность в научном сообществе, особенно в среде научных редакторов, рецензентов научных изданий, на которых буквально обрушился «бум» статей, сгенерированных при помощи инструментов ИИ.

С одной стороны, ИИ создает новые возможности для исследователей, т. к. может значительно упростить процесс написания научной статьи и повысить её качество, предоставляя исследователям инструменты для автоматизации решения рутинных задач, обработки больших данных и поиска актуальной информации. С другой стороны, возникает ряд этических и практических вопросов.

В данной статье рассматривается двусмысленность роли искусственного интеллекта в формате его полезности или вредоносности для применения в исследовательской деятельности. С этой целью проанализированы позитивные и негативные аспекты использования ИИ в процессе написания научных статей и выделены ключевые задачи формирования требований, правил и рекомендаций для урегулирования процедур использования инструментов ИИ в издательской деятельности.

Для многих специалистов, связавших свою жизнь с издательской деятельностью, проблема «сгенерированного научного текста» не нова. Всем редакторам научных журналов хорошо известна ситуация со статьей «Корчеватель: алгоритм типичной унификации точек доступа и избыточности»¹, история создания этой статьи уходит своими корнями в 2005 год, когда в Массачусетском технологическом институте произошло событие, которое трудно переоценить всем тем, для кого интересен вопрос использования технологий искусственного интеллекта в научной деятельности. Не вторгаясь в подробности, лишь пунктирно обозначим суть произошедшего. Джереми Стриблинг (англ. Jeremy Stribling) с другими программистами-выпускниками вышеназванного института разработали программу SCIgen. Данная программа позволяла генерировать текст, имитируя стиль научной статьи². Идея SCIgen основана на принципе анализа большого количества статей по одному из научных направлений. Программа выбирала заложенные в ней языковые модели, алгоритмы и случайным образом старалась создавать из них предложения. Сгенерированный текст неспециалисту представлялся научным, но вместе с тем при вдумчивом чтении становилось очевидным, что текст лишен какого-либо смысла³. Весь текст при внимательном рассмотрении оказался бессвязным и почти бессмысленным, лишь отдалённо напоминая научную статью. По словам группы авторов, эту программу они создавали преимущественно для развлечения, а не для генерации научного текста⁴.

Успешная апробация разработанной программы SCIgen состоялась в 2005 году в виде статьи под названием «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy»⁵, которая была отправлена на международную конференцию по систематике, кибернетике и информатике (WMSCI) [англ.] в Орландо (штат Флорида). Так называемая статья была даже включена в программу конференции, регламентом конференции на тот момент не было предусмотрено рецензирование. Позже авторы SCIgen на своём веб-сайте сделали заявление, что научная работа была написана при помощи специальной программы. Вся история получила большую огласку, когда об этом сами «авторы» написали на сайте Slashdot⁶. В зарубежном научном пространстве возникла дилемма философского и этического характера, и вскоре организаторы конференции сделали выбор в сторону ретракции так называемой «статьи» Стриблинга, Агуайо и Крона из сборника конференции. Вместе с тем подчеркивалось, что процедура рецензирования и утверждения статей к печати будет пересмотрена. Несмотря на удаленность во времени и неутихающие споры по поводу правомерности использования сгенерированных текстов в своей научной деятельности, проблема по-прежнему (и, по-видимому, навсегда) остро стоит перед научным сообществом.

Свое продолжение данная история нашла в 2008, когда эту «псевдо» статью перевели на русский язык с помощью другой компьютерной программы. Полученная «научная» статья была отправлена в один из российских научных журналов – «Журнал научных публикаций аспирантов и докторантов». Журнал входил в перечень ВАК. После некоторых правок литературного редактора, а также проведенного рецензирования журнал опубликовал статью несуществующего ученого Михаила Жукова под названием «Корчеватель: алгоритм типичной унификации точек доступа и избыточности»⁷. Публикация этой истории со статьей привела к всплеску общественной и научной дискуссии, даже к некоторому скандалу в научном сообществе.

Актуальность поднятой проблемы обусловлена тем, что по прошествии не многим более шестнадцати лет издательства наблюдают экспоненциальный наплыв статей, сгенерированных при помощи инструментов ИИ в редакцию, а современная наука уже живет и работает в условиях активного внедрения ChatGPT.

Не так давно в одном очень авторитетном научном журнале по биологии «Frontiers» была опубликована статья, в которой иллюстрация крысы и др. рисунки были сгенерированы ИИ платформы «Midjourney» [Цит. по: Черкасова и др., 2024, с. 2552]. Вновь встали вопросы: этики, права и, конечно же, «...научности самого текста (плюс вопрос обхода процедуры рецензирования) …, анализ распознавания искусственно сгенерированного текста…» [Цит. по: Черкасова и др., 2024, с. 2552].

Редакционные советы сталкиваются повсеместно с новыми для себя проблемами и порой просто затрудняются в поисках ответа, как быть в этой ситуации и насколько возможно решить проблему «…различения и разграничения текста: перед нами – научный текст ученого или написанный алгоритм чат-бота, похожий на научный текст…» [Черкасова и др., 2024, с. 2552]. Остро встает вопрос, как избежать подобных прецедентов, как со статьей «Корчеватель…», и механического заполнения научных изданий бессодержательными статьями.

Активное внедрение искусственного интеллекта в исследовательскую деятельность ставит вопрос об определенном пересмотре работы редакций научных журналов, заставляет корректировать устоявшиеся представления о редакционной работе, а самое главное, до сих пор не совсем ясно, каким образом научное сообщество справится с новыми технологическими вызовами, поскольку в редакционные советы журналов, как правило, входят профессора старшего поколения, не всегда владеющие инструментами ИИ.

С весны 2023 г. в системе Антиплагиат доступен детектор сгенерированных текстов, «…эта программа начала маркировать подозрительные тексты, т. е. тексты, по версии программы, написанные при помощи искусственного интеллекта (ИИ), как «сгенерированные» [Черкасова и др., 2024, с. 2552]. Есть предупреждающее уведомление, что обнаружен подозрительный документ и предостережение: «Будьте внимательны при работе с документом».

Разработана памятка по работе с искусственно сгенерированными текстами.

Однако Антиплагиат принятие решения о публикации оставляет за редакцией на основании существующего в редакции Регламента, а выявление признаков и индикаторов сгенерированного текста должен определить именно проверяющий – человек, а не программа. При этом подразумевается, что после тщательного анализа, сгенерированный сегмент текста может быть отключен, при этом, прежде чем «Снять отметку», предлагается написать комментарий, аргументирующий принятие проверяющим такого решения.

Признаки сгенерированного текста представлены в памятке, как было отмечено выше, разработанной компанией Антиплагиат. Сжато их можно представить следующим образом:

• Несогласованность, нарушения связности текста.
• Наличие большого количества банальностей («эффект жвачки»).
• Фразы, не несущие смысловой нагрузки.
• Повторы («эффект рыбки Дори»).
• Нарушения логики построения текста.
• Отсутствие ссылок там, где они необходимы.
• Ссылки в оригинальном тексте.
• Стилистическая неоднородность.
• Фразы, характерные для диалога с генеративным ИИ⁸.

Также стоит принять во внимание признаки и индикаторы сгенерированного текста, предложенные авторами статьи «Искусственно сгенерированный академический текст (лингвопрагматический аспект)». Авторы выделяют семь признаков и семь индикаторов сгенерированного текста: «упрощенный стиль; ИИ-галлюцинации; немая конкретность (содержательная пустота при чрезвычайной конкретности); значительный объем при «пустой массивности текста»; обезличенный текст вследствие отсутствия эмотивности; неоправданные избыточные списки; четкое следование орфографическим и пунктуационным правилам» [Черкасова и др., 2024, с. 2556].

Но всегда ли достаточно рекомендаций из памятки и апелляции к материалам научных статей, в которых анализируют научный дискурс, созданный при помощи нейросетей, и вебинарам, рассматривающим вопросы, касающиеся нейросетей в исследовательской деятельности. Может ли человек отличить текст, созданный при помощи ИИ?

Кроме того, стоит отметить, что процесс обновления редакционной политики с учетом активного внедрения во все сферы жизни искусственного интеллекта (ИИ) идет очень медленно, прежде всего, из-за определенной инертности издательских процессов и неподготовленности редакционного совета, редколлегии, как было отмечено ранее, гибко реагировать на происходящие вызовы.

Вместе с тем, в издательской среде нет единодушия относительно и того, как работать со статьями, которые имеют признаки искусственной генерации текста. Имеются попытки опротестовать роль ИИ, наложить на него «табу». Сомнения коллег понятны, причины осторожного отношения к идее использования нейросетей в академическом письме более чем весомые.

В противовес данному мнению следует привести позицию автора С.П. Фурс, которая считает, что «… выбор стратегии страуса, который зарывает голову в песок в случае сложной ситуации, в данный момент не оправдан. Да, ИИ … – это сложный феномен, однако разобраться в нем необходимо, чтобы не просмотреть перспективы, которые он содержит, и при этом не упустить возможные риски, которые он может принести …» [Фурс, 2023, с. 41].

По справедливому замечанию Н.В. Писарь, необходимо осознание «…того, что искусственный интеллект – это реальность, с которой необходимо уметь правильно сосуществовать…» [Писарь, 2024, с. 58].

Поскольку Антиплагиат принятие решения о публикации оставляет за редакцией, перед автором статьи, как главным редактором журнала перечня ВАК, остро встал вопрос – каким образом освоить доступные инструменты ИИ, разобраться, как они работают, и было принято решение пройти программу переподготовки «Промпт-инженер: искусство коммуникации с нейросетями», 144 часа в рамках Федерального проекта «Содействие занятости» при Федеральном государственном автономном образовательном учреждении высшего образования «Национальный исследовательский Томский государственный университет».

Основная цель итоговой работы была направлена на решение редакционных задач, а именно – разработать памятку / рекомендацию / требования главного редактора журнала об использовании ChatGPT и других программ искусственного интеллекта в научных статьях, поскольку было очевидно, что запретительные меры не смогут решить задачу заслона сгенерированных некачественных статей в редакцию журнала и решить проблемы, возникающие в этом случае. Для достижения этой цели было поставлено несколько задач. Для решения первой задачи прежде всего был проведен анализ имеющейся нормативной литературы, Рекомендаций для редакторов, авторов и рецензентов (COPE, WAME, ICMJE и др.) и научных статей на данную тему. Установлено, что в России разработан и действует ГОСТ Р 70949–2023. Технологии искусственного интеллекта в образовании. Применение искусственного интеллекта в научно-исследовательской деятельности. Варианты использования https://meganorm.ru/Data/814/81496.pdf⁹. На основе проведенного опроса выявлено, что этот ГОСТ не знаком широкой общественности, в том числе авторам, рецензентам, членам редакционного совета, преподавателям. 1 января 2025 г. вступит в силу ГОСТ Р 71657-2024 «Технологии искусственного интеллекта в образовании. Функциональная подсистема создания научных публикаций. Общие положения»¹⁰. «Положения настоящего стандарта описывают использование систем ИИ с целью повышения результативности создания научных публикаций. Применение систем ИИ должно осуществляться этичным образом и не должно заменять творческую научно-исследовательскую деятельность человека», – говорится в этом документе.

Кроме этого, был проведен анализ сайтов научных журналов, в результате которого не удалось выявить ни одного Российского журнала, в котором в разделе Авторам была бы представлена «Декларация о генеративном ИИ в научном письме» или прописана четкая политика в отношении ИИ. Единственную подробную информацию в данном контексте, ориентированную на научных редакторов «ChatGPT в практике редакторов научных изданий», удалось обнаружить на сайте https://editorum.ru/chatGPT/. Информация подготовлена Анастасией Тепикиной, маркетинговым аналитиком компании Editorum, дата публикации: 19.05.2023¹¹.

На данном сайте обобщен имеющийся мировой опыт и представлена интересная информация. Здесь же сообщается, что «Мировая ассоциация медицинских редакторов (WAME) в январе 2023 года опубликовала свои рекомендации относительно ChatGPT и других программ искусственного интеллекта¹². Они сводятся к 4 пунктам:

1. Чат-боты не могут быть авторами.
2. Авторы должны указывать в статье об использовании чат-ботов и предоставлять информацию о том, как они применялись.
3. Авторы несут ответственность за работу, выполненную чат-ботом в своей статье (включая точность изложенного и отсутствие плагиата), и за надлежащее указание всех источников (в том числе материалов, созданных чат-ботом).
4. Редакторам нужны инструменты, которые помогут им обнаруживать контент, созданный или измененный с помощью ИИ.

Аналогичную позицию занимает и Комитет по публикационной этике (COPE), на сайте которого размещено большое количество эссе на эту тему, а также заявление «Авторство и инструменты ИИ», в котором искусственному интеллекту отказано в праве быть автором из-за невозможности нести ответственность за написанное¹³.

Огромную просветительскую работу по ИИ проводит АО «Антиплагиат», подробнее можно посмотреть в разделе «Расписание вебинаров»¹⁴. Так 28.11.2024 совместно с Elpub был проведен вебинар на тему «Использование сервисов с генеративным ИИ при подготовке научной статьи – на какие вопросы нужно ответить?», спикер Зельдина М. М., руководитель проекта Elpub. Образование, НЭИКОН, Москва, Россия.

Далее, был проведен анализ имеющейся научной литературы, в результате которого выяснилось, что к теме искусственного интеллекта имеется большой интерес в академическом сообществе, публикации изучались только в рамках проблемы, заявленной в статье. Было установлено, что по вопросу использования нейросетей в академическом письме ученые высказываются неоднозначно. Для одних ИИ обладает огромным потенциалом и является незаменимым помощником, данные авторы придерживаются точки зрения, что разумное применение ИИ может обеспечить повышение качества исследовательских работ. Другие акцентируют внимание на вредоносных аспектах использования ИИ.

На основании этого в работе рассмотрены два подхода, прежде всего доводы тех, кто рассматривает нейросеть полноценным помощником. Обращаясь к их научным статьям, установлены сходные мнения ученых о позитивных аспектах использования ИИ при написании статей. В качестве главного аргумента в пользу использования ИИ выступает то, что:

«ИИ может значительно повысить эффективность научной коммуникации благодаря автоматизации рутинных задач: обзор литературы, анализ данных, написание научной статьи и пр. [Будаева и др., 2024, с. 220].

«Текстовые нейросети, как показал пример кейса с защитой диплома, написанного ChatGPT, открывают для автора возможность генерировать уникальный текст для теоретических глав, тем самым снижая затраты времени на написание академических работ» [Безуглый и др., 2023, с. 208].

«В настоящее время программа на базе ИИ (Яндекс Переводчик и др.) может достаточно правильно сделать перевод аннотации, статьи с/на любой язык (включая и экзотические языки) …, что является несомненным достижением современных технологий» [Черкасова и др., 2024, с. 2553].

«…проверка грамматических ошибок, генерация аннотации, списка литературы, создание самих научных источников, работа над некоторыми частями рукописи, подбор названия для статьи… создание и сохранение ссылок при работе с ИИ» [Черкасова и др., 2024, с. 2553].

Ольга Сергеевна Беленькая, руководитель учебно-методического центра компании Антиплагиат выделяет шесть моментов, которые привлекают внимание исследователей к генеративным сервисам, а именно:

• Доступность – диалоговый режим создает эффект общения с живым человеком.
• Скорость – можно быстро получить большой объем текста.
• Натуральность – текст очень похож на «человеческий».
• Итеративность – результат можно «подгонять под себя».
• Оригинальность (формальная) – полученный текст отсутствует в каких-либо базах и оценивается детекторами плагиата как оригинальный.
• Волшебство – сложность моделей и кажущаяся недетерминированность результатов представляют сервисы как нечто магическое ¹⁵.

Все вышеприведенные мнения так или иначе обосновывают то обстоятельство, что ИИ открывает новые возможности для повышения эффективности в научной деятельности, и его можно использовать для выполнения рутинных исследовательских задач.

Вместе с тем, можно выделить и тех, кто консолидировался и выделяет недостатки. Основным аргументом против использования ИИ становится то, что:

«Выявленные в результате сопоставительного, стилистического и синтаксического анализа отличительные черты научных текстов ChatGPT в целом, помимо выделенных выше и относящихся к конкретному тексту, сводятся к следующему:

• неточное или не совсем точное употребление отдельных слов в контексте;
• ошибки в употреблении фразеологических оборотов и устойчивых выражений (например, могут возникать ошибки в выражениях типа «играть роль» и «иметь значение», в текстах чата GPT происходит их смешение, в результате чего появляются фразы «играть большое значение» и «иметь значительную роль»);
• ограниченное количество способов построения предложений, однотипные (хотя и чередующиеся) синтаксические конструкции;
• связь предложения с предыдущим при помощи указательного местоимения «это» и его вариантов, с которого начинается предложение;
• предложения, в которых в состав сказуемого включен компонент, выражающий модальное значение предиката. В текстах ChatGPT это значение наиболее часто выражается с помощью модального глагола «мочь» (отсюда обилие предложений с глаголом «может») [Безуглый и др., 2023, с. 210].

«Отсутствие фактологического контроля над создаваемым контентом. Программы с интегрированным ИИ создают текст, основываясь на определенной, встроенной в период обучения базе данных, которая может включать в себя устаревшие научные гипотезы или информацию, не соответствующую действительности» [Безуглый и др., 2023, с. 211].

«…неспособность осмысления дополнительной информации, преобразования ее, представления глубокого анализа и выдвижения новых идей, оценки самих результатов, неразграничение актуальности и новизны исследования…» [Черкасова и др., 2024, с. 2553].

«…части, сгенерированные ИИ, необходимо редактировать, так как повествование может отклоняться от траектории исследования, но при этом предложенные идеи заслуживают внимания; при отсутствии должного редактирования со стороны человека могут возникать и ложные данные, представленные ИИ; вопрос этики остается открытым…» [Черкасова и др., 2024, с. 2553].

«нарушение стиля изложения, связности и логичности, грамматические неточности, не характерные для носителя языка» [Comparing…, 2023].

У О. С. Беленькой находим недостатки генеративных моделей:

• Недостоверные сведения.
• Бедность (предсказуемость) стилистики.
• Логические противоречия.
• Повторы («эффект рыбки Дори»).
• Много банальностей («эффект жвачки»).
• Неадекватные ссылки¹⁶.

Если взглянуть на вопрос, заявленный в начале исследования: является ли ИИ полезным инструментом в руках исследователя, автора научных статей, благодаря автоматизации решения рутинных задач, или же является вредоносным фактором и, проанализировав аргументы «за и против», становится очевидным, что ответить на этот вопрос не столь просто и легко. Одно очевидно, что запретительные меры не дадут результатов, и авторы продолжат разрабатывать технологии обхода системы Антиплагиат, чтобы «замести» следы и признаки искусственной генерации текста. В связи с этим была разработана «Памятка для авторов журнала», которая размещена на сайте http://if-mstuca.ru/CE/index.php/ispolzovanie-ii¹⁷. Авторам предлагается делать пояснения, какие разделы научного текста написаны с помощью ИИ, предлагается даже оформить ссылки на использование конкретной нейросети с указанием конкретного промпта. Конечно, риски имитации или фальсификации исследования, фабрикации данных эта памятка вряд ли устранит или даже снизит, но, как было отмечено выше, проблемы, связанные с использованием ИИ в академическом письме актуальны, и изучение потенциального применения ИИ в научной деятельности будет продолжено.

Таким образом, проведенное исследование позволяет сделать вывод о зарождении новой, малоизученной и актуальной проблемы, а данное исследование представляет собой первый шаг в изучении роли искусственного интеллекта в процессе написания научных статей. В дальнейшем требуется ещё более тщательный и конкретный анализ искусственно сгенерированного научного текста, включающий различные аспекты (научная этика, авторское право и др.) и оценку их влияния на качество научной коммуникации. В целом же, становится понятно, что в новой реальности ИИ как ключевой элемент, учет которого способен перевернуть подход к научной деятельности, существенным образом переосмыслить ее основные постулаты, еще явно недооценен.

 

¹ Научный журнал напечатал бессмысленную статью, написанную компьютером // РИА новости // [Электронный ресурс]. – 2008. URL: https://ria.ru/20081001/151750233.html (дата обращения: 10.05.2024)

² Учёные приняли белиберду за чистую монету. Русская служба Би-би-си (15 апреля 2005). Дата обращения: 4 января 2021. Архивировано 14 апреля 2021 года.

³ Емельяненков А. С учёным видом. Как за 4,5 тысячи рублей в журнале опубликовали заведомую галиматью // Российская газета. 2008. 29 октября (№ 4782).

⁴ SCIgen – An Automatic CS Paper Generator (англ.). Массачусетский технологический институт. Дата обращения: 4 января 2022. Архивировано 15 декабря 2021 года.

⁵ Jeremy Stribling, Daniel Aguayo and Maxwell Krohn. Rooter: A Methodology for the Typical Unification of Access Points and Redundancy (англ.). Массачусетский технологический институт. Дата обращения: 4 января 2022. Архивировано 28 декабря 2005 года.

⁶ Stan Kelly-Bootle[англ.]. Call that gibberish? (англ.) // ACM Queue[англ.]. Vol. 3, no. 6. P. 64. doi:10.1145/1080862.1080884.

⁷ Емельяненков Александр. С учёным видом. Как за 4,5 тысячи рублей в журнале опубликовали заведомую галиматью // Российская газета. 2008. 29 октября (№ 4782).

⁸ Сгенерированные тексты в ВКР: запретить нельзя разрешить // [Электронный ресурс]. – 2024. URL: https://antiplagiat.ru/webinar/2024-09-25/ (дата обращения: 25.09.2024)

⁹ ГОСТ Р 70949–2023. Технологии искусственного интеллекта в образовании. Применение искусственного интеллекта в научно-исследовательской деятельности. Варианты использования // [Электронный ресурс]. – 2023. URL: https://meganorm.ru/Data/814/81496.pdf (дата обращения: 10.05.2024)

¹⁰ ГОСТ Р 71657-2024 Технологии искусственного интеллекта в образовании. Функциональная подсистема создания научных публикаций. Общие положения // Сборник нормативных документов // [Электронный ресурс]. – 2024. URL: https://normadocs.ru/gost_r_71657-2024 (дата обращения: 29.11.2024)

¹¹ ChatGPT в практике редакторов научных изданий // [Электронный ресурс]. – 2023. URL: https://editorum.ru/chatGPT/ (дата обращения: 10.05.2024)

¹² Zielinski Chris, Winker Margaret, Aggarwal Rakesh и др. Chatbots, ChatGPT, and Scholarly Manuscripts: WAME Recommendations on ChatGPT and Chatbots in Relation to Scholarly Publications. January 20, 2023. URL: https://wame.org/page3.php?id=106 (дата обращения: 10.05.2024)

¹³ Authorship and AI tools // COPE position statements // [Электронный ресурс]. – 2023. URL: https://publicationethics.org/cope-position-statements/ai-author (дата обращения: 10.05.2024)

¹⁴ Бесплатные обучающие вебинары // [Электронный ресурс]. – 2024. URL: https://antiplagiat.ru/training/#schedule (дата обращения: 29.11.2024)

¹⁵ Сгенерированные тексты в ВКР: запретить нельзя разрешить // [Электронный ресурс]. – 2024. URL: https://antiplagiat.ru/webinar/2024-09-25/ (дата обращения: 25.09.2024)

¹⁶ Сгенерированные тексты в ВКР: запретить нельзя разрешить // [Электронный ресурс]. – 2024. URL: https://antiplagiat.ru/webinar/2024-09-25/ (дата обращения: 25.09.2024)

¹⁷ Использование искусственного интеллекта в публикациях // [Электронный ресурс]. – 2024. URL: http://if-mstuca.ru/CE/index.php/ispolzovanie-ii (дата обращения: 10.10.2024)

Об авторах

Людмила Анатольевна Иванова

Московский государственный технический университет гражданской авиации (Иркутский филиал)

Автор, ответственный за переписку.
Email: media-lai@mail.ru
ORCID iD: 0000-0002-2851-1537

кандидат педагогических наук, доцент

Россия, ул. Коммунаров, 3 Иркутск, 664047

Список литературы

Дополнительные файлы