Двухступенчатая семантическая кластеризация эмбеддингов как альтернатива LDA для инфометрического анализа отраслевых новостей

Предметом исследования является разработка и валидация альтернативного подхода к тематическому моделированию текстов, направленного на преодоление ограничений классического латентного размещения Дирихле (LDA). Объектом исследования выступают короткие русскоязычные новостные тексты об атомной энергетике, представленные в виде корпуса «AtomicNews». Авторы подробно рассматривают такие аспекты темы, как влияние разреженности на качество тематического моделирования, проблемы интерпретируемости тем и ограничения априорной фиксации числа тем. Особое внимание уделяется геометрической интерпретации семантики текстов, в частности, преобразованию лексических единиц в пространство предобученных эмбеддингов и последующей кластеризации с целью формирования документных тематических профилей. Исследование фокусируется на сравнительном анализе нового метода и LDA по метрикам когерентности, перплексии и тематического разнообразия. Предлагаемый подход направлен на создание интерпретируемой, вычислительно лёгкой и устойчивой к шуму модели, пригодной для онлайнового мониторинга новостных потоков. Методология исследования основана на двухступенчатом семантическом сглаживании – эмбеддинг-репрезентации лемм с помощью Sentence-BERT и агломеративной косинусной кластеризации с последующим применением K-means к тематическим профилям документов. Научная новизна исследования заключается в разработке и эмпирическом обосновании схемы тематического моделирования, заменяющей вероятностную генерацию слов на геометрическое сглаживание эмбеддингов. Предложенный подход отказывается от предпосылок «мешка слов» и фиксированного числа тем, формируя тематические координаты документов через плотностные кластеры в семантическом пространстве. Это позволяет повысить интерпретируемость тем, снизить чувствительность к разреженности текстов и избежать коллапса распределения тем в коротких сообщениях. Эксперименты на корпусе «AtomicNews» показали статистически значимое улучшение по сравнению с классической LDA: снижение перплексии на 5 %, рост когерентности тем на 0.15 пункта и увеличение тематического разнообразия. Метод также продемонстрировал вычислительную эффективность – вся процедура занимает секунды на CPU, что делает его пригодным для применения в условиях ограниченных ресурсов. Таким образом, переход от вероятностной декомпозиции к геометрическому анализу эмбеддингов представляет собой перспективное направление в тематическом моделировании отраслевых текстов.

тематическое моделирование, эмбеддинги слов, косинусная кластеризация, когерентность тем, латентное размещение Дирихле, Sentence-BERT, текстовая информация, лемматизация, тематический профиль, медиамониторинг