Мультимодальный графовый подход к генерации с дополнительным поиском

Мультимодальный графовый подход к генерации с дополнительным поиском

Косогоров Д.Е. (ИДСТУ СО РАН, Иркутск, Россия)
Копылов Д.Е. (ИДСТУ СО РАН, Иркутск, Россия)
Охотин И.И. (ИДСТУ СО РАН, Иркутск, Россия)
Поддубный А.И. (ИДСТУ СО РАН, Иркутск, Россия)
Тобола К.В. (ИДСТУ СО РАН, Иркутск, Россия)
Дородных Н.О. (ИДСТУ СО РАН, Иркутск, Россия)
Михайлов А.А. (ИДСТУ СО РАН, Иркутск, Россия)

Аннотация

В настоящее время метод генерации с дополнительным/расширенным поиском (Retrieval-Augmented Generation – RAG) стал эффективным решением фундаментальных проблем, которые присущи всем большим языковым моделям. Данный метод повышает возможности LLM за счет извлечения релевантных внешних знаний и их встраивания в контекст модели. В данной статье предложен новый мультимодальный графовый подход RAG для сложно-структурированных PDF-документов. Традиционные RAG-системы игнорируют пространственную структуру документов, страдают от проблемы так называемого «модального разрыва» и не моделируют связи между отдельными фрагментами документа. Разработанное решение объединяет регионно-ориентированное разбиение на фрагменты, специализированный табличный кодировщик на базе дообученной мультимодальной модели и интеграцию структурного и семантического графов в единый конвейер извлечения и генерации. Предварительная экспериментальная оценка на наборах данных MMLongBench-Doc и LongDocURL подтвердила превосходство метода разбиения на фрагменты с использованием регионов над классическим методом RAG по всем метрикам оценки на этапе извлечения (поиска). Результаты подтверждают гипотезу о необходимости явного моделирования сложных межмодальных зависимостей. Подход открывает перспективы для создания надежных систем анализа корпоративной, научной и технической документации.

Ключевые слова

обработка естественного языка; генерация с дополнительным поиском; мультимодальные большие языковые модели; сложно-структурированные документы; векторные представления; структурный граф документа; семантический граф связности.

Издание

Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 199-226.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(6)-33

Для цитирования

Косогоров Д.Е., Копылов Д.Е., Охотин И.И., Поддубный А.И., Тобола К.В., Дородных Н.О., Михайлов А.А. Мультимодальный графовый подход к генерации с дополнительным поиском. Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 199-226. DOI: 10.15514/ISPRAS-2026-38(6)-33.

Полный текст статьи в формате pdf Вернуться к содержанию тома