Интерпретируемость визуального трансформера при классификации бактерий на изображениях сканирующей электронной микроскопии

Интерпретируемость визуального трансформера при классификации бактерий на изображениях сканирующей электронной микроскопии

Гридин В.Н. (ЦИТП РАН, Одинцово, Россия)
Салем Б.Р. (ЦИТП РАН, Одинцово, Россия)
Солодовников В.И. (ЦИТП РАН, Одинцово, Россия)
Новиков И.А. (ЦИТП РАН, Одинцово, Россия; НИИГБ, Москва, Россия)
Родина Е.С. (НИИГБ, Москва, Россия)

Аннотация

Рассматривается задача многоклассовой однометочной классификации бактериальных микроорганизмов на одноканальных изображениях, полученных методом сканирующей электронной микроскопии с лантаноидным контрастированием. Цель работы состоит в сопоставлении трёх способов интерпретации решения Vision Transformer: базовой карты внимания последнего блока (AttentionCAM, CLS→фрагменты), класс-специфической карты CDAM и метода R-Cut, формирующего связную область локализации. Анализ выполнен для используемой в работе модели ViT-Base/16 адаптированной к одноканальным изображениям и работающей с входом 384×384. Для оценки классификационных показателей использована независимая тестовая подвыборка из 371 изображения. На ней получены следующие интегральные показатели: доля верных классификаций 0.784, макроусреднённая F1-мера 0.790 и взвешенная F1-мера 0.785. Для количественного сопоставления объяснений без ручной масочной разметки использована отдельная стратифицированная подвыборка из 160 корректно классифицированных изображений. На этой подвыборке AttentionCAM показал лучшие средние значения по площади под кривыми поэтапного удаления и добавления значимых фрагментов, по среднему снижению целевого отклика и по доле интенсивности карты внутри автоматически выделенной области объекта. В то же время CDAM и R-Cut дают иной тип интерпретации: первый выделяет локальные дискриминативные участки, второй стремится к формированию более связной области, однако чувствителен к выбору функции нормировки выходов модели и параметра φ.

Ключевые слова

Vision Transformer; интерпретируемость; карты внимания; класс-специфическая атрибуция; связная локализация; классификация бактерий; сканирующая электронная микроскопия.

Издание

Труды Института системного программирования РАН, том 38, вып. 6, часть 1, 2026, стр. 311-322.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(6)-20

Для цитирования

Гридин В.Н., Салем Б.Р., Солодовников В.И., Новиков И.А., Родина Е.С. Интерпретируемость визуального трансформера при классификации бактерий на изображениях сканирующей электронной микроскопии. Труды Института системного программирования РАН, том 38, вып. 6, часть 1, 2026, стр. 311-322. DOI: 10.15514/ISPRAS-2026-38(6)-20.

Полный текст статьи в формате pdf Вернуться к содержанию тома