АЛГОРИТМЫ АВТОМАТИЧЕСКОЙ ЭКСТРАКЦИИ ОТРАСЛЕВЫХ ТЕРМИНОВ В ДВУЯЗЫЧНЫХ ПАРАЛЛЕЛЬНЫХ ТЕКСТАХ И ОПРЕДЕЛЕНИЯ ИХ СЕМАНТИЧЕСКОЙ ЭКВИВАЛЕНТНОСТИ

В данной статье предлагается интегрированная алгоритмическая модель для автоматического извлечения терминов (Automatic Term Extraction, ATE) и сопоставления их семантических эквивалентов (bilingual term alignment / bilingual lexicon induction) в двуязычных параллельных и сопоставимых корпусах. Мы объединяем традиционные статистические и морфологические методы (C-value, TF–IDF, Alban) с современными нейронными подходами (моно- и мультиязычные эмбеддинги, контекстуальные трансформерные модели, выравнивание слов). В экспериментальной части представлен анализ на основе метрик precision, recall и MAP с использованием параллельных корпусов и предметно-ориентированных сопоставимых корпусов.