Дообучение модели на основе архитектуры Transformer для нормализации корпуса средневековых текстов на немецком языке XIV-XV вв. из орденской Пруссии

Статья посвящена методам автоматической нормализации текстов на средневерхненемецком и раннем нововерхненемецком языка для применения NLP в исследованиях по средневековой истории. В статьей представлен обзор имеющихся подходов автоматической нормализации исторических текстов на немецком языке. Обозначены проблемы нормализации средневековых немецких текстов: особенности применения словарей подстановок, правил замены. Описаны ограничения применения таких подходов и необходимость учёта целей нормализации. Нейроязыковые модели определены как наиболее перспективные для автоматической нормализации. В исследовании проведено сравнение эффективности применения имеющихся нейроязыковых моделей (NMT) в отношении текстов на средневерхненемецком и раннем нововерхненемецком. Показана низкая эффективность использования NMT, обученных на выборке текстов Нового и Новейшего времени. С учетом представленных в литературе обзоров утверждается необходимость подготовки NMT в зависимости от целей и корпуса. Для нормализации текстов XIV–XV вв., созданных в орденской Пруссии, дообучена нейроязыковая модель на основе архитектуры Transformer (BART) и представлена ее эффективность в сравнении других моделей. Модель обучена на собственной выборке пары слов: оригинальное- нормализованное, список составляет 6570 пар слов. Условия дообучения модели: Epoch = 28; Batch = 50. Для нормализации корпуса текстов на трех исторических формах немецкого языка выбрана модель DTAEC Type Normalizer. Проведено сравнение эффективности нормализации дообученной модели с уже имеющимися моделями, обученными на немецких текстах Нового и Новейшего времени по метрикам Accurancy, Accurancy OOV, CER и Levenshtein distance. Дообученная модель показывает значительную эффективность по сравнению с другими моделями. Предложено к ознакомлению одно нормализованное при помощи модели предложение и проведено сравнение с эталоном. Выявлены факты "галлюцинаций" дообученной модели. При Accurancy и Accurancy OOV равном 89,6 признано перспективным использование этого метода. Однако, выявленные недостатки при нормализации текста указывают на необходимость использовать дополнительные методы нормализации, такие как лемматизиция.

нормализация, ИИ, transformer, BART, средневерхненемецкий, ранний нововерхненемецкий, Немецкий орден, Пруссия, Средние века, цифровая гуманитаристика