Гибридная дополненная модель для обнаружения взгляда пешехода

Гибридная дополненная модель для обнаружения взгляда пешехода

Ван Ч. (Университет ИТМО, Санкт-Петербург, Россия)
Жданов Д.Д. (Университет ИТМО, Санкт-Петербург, Россия)
Жданов А.Д. (Университет ИТМО, Санкт-Петербург, Россия)

Аннотация

Безопасность пешеходов на дороге во много зависит от того насколько пешеход правильно оценивает дорожную ситуацию и насколько транспортное средство в состоянии оценить уровень его контроля дорожной ситуации. Одним из средств оценки внимания пешехода может служить анализ направления его взгляда. Однако низкое разрешение изображения лица пешехода, размытие в движении, сложные условия освещения и частичное перекрытие лиц затрудняют эту оценку. В результате предыдущих исследований было показано, что в благоприятной обстановке оценка направления взгляда по ориентации лица и положению зрачков обеспечивают детальные данные о направлении внимания пешехода. Однако эти решения ненадежны в условиях реальной уличной обстановки. В данной статье представлено надежное расширенное гибридное решение, которое использует конвейер методов оценки внимания пешеходов с контролем ошибок каждого из них для непрерывного определения направления взгляда пешеходов в сложных уличных условиях. В дополнение к предложенному ранее нейросетевому методу оценки направления взгляда добавляются геометрические и легковесные нейросетевые методы оценки ориентации головы, компенсирующие потенциальные отказы методов в случаях зашумленных входных данных. Предложенное решение интегрирует детектирование лиц, оценку направления взгляда, расчет положения и ориентации головы, включая прогнозирование ее положение и ориентацию в следующий момент времени. В отличие от предыдущих решений, ориентированных исключительно на оценку направления взгляда, построенные в данной работе нейронные сети позволяют не только повысить точность, но также обеспечить непрерывную обработку видеоданных в условиях реальных визуальных помех, связанных со сложной дорожной ситуацией. Многочисленные эксперименты на открытых наборах данных в условиях реальной уличной обстановки демонстрируют, значительное превосходство предложенного решения на дальних дистанциях, что повышает доступность сквозной оценки уровня контроля дорожной ситуации при сохранении точности оценки на уровне, полученном по определению направления взгляда в благоприятных условиях.

Ключевые слова

внимание пешеходов; оценка направления взгляда; положение головы; автономное вождение.

Издание

Труды Института системного программирования РАН, том 38 вып. 3, часть 3, 2026, стр. 115-124.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(3)-39

Для цитирования

Ван Ч., Жданов Д.Д., Жданов А.Д. Гибридная дополненная модель для обнаружения взгляда пешехода. Труды Института системного программирования РАН, том 38 вып. 3, часть 3, 2026, стр. 115-124. DOI: 10.15514/ISPRAS-2026-38(3)-39.

Полный текст статьи в формате pdf (на английском) Вернуться к содержанию тома