Зависимость внутренней размерности текста от языка

Зависимость внутренней размерности текста от языка

Кучина М.А. (МФТИ, Московская. обл., Россия; ИПУ РАН, Москва, Россия)
Кильдяков А.С. (ИПУ РАН, Москва, Россия)
Папай И.Д. (МФТИ, Московская. обл., Россия)

Аннотация

В работе исследуется зависимость внутренней размерности текста от языка. Проверяется гипотеза о том, что внутренняя размерность инвариантна относительно перевода. Исследование проведено на мультиязычном корпусе текстов, состоящем из текстов одинакового содержания, переведённых на несколько языков. Для каждого текста на основе скрытых представлений токенов, полученных с помощью языковой модели, вычислена внутренняя размерность, после чего проведён сравнительный анализ полученных значений. В результате анализа гипотеза об инвариантности внутренней размерности при переводе отвергается; подтверждается, что внутренняя размерность зависит от языка. Показано, что синтетические языки с богатой морфологией дают более высокие значения, чем аналитические.

Ключевые слова

внутренняя размерность; инвариантность перевода; скрытые представления текстов; обработка естественного языка.

Издание

Труды Института системного программирования РАН, том 38, вып. 6, часть 1, 2026, стр. 243-258.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(6)-16

Для цитирования

Кучина М.А., Кильдяков А.С., Папай И.Д. Зависимость внутренней размерности текста от языка. Труды Института системного программирования РАН, том 38, вып. 6, часть 1, 2026, стр. 243-258. DOI: 10.15514/ISPRAS-2026-38(6)-16.

Полный текст статьи в формате pdf Вернуться к содержанию тома