ПІДВИЩЕННЯ ВИЯВЛЕННЯ НЕБЕЗПЕЧНИХ ОБ’ЄКТІВ НА ОСНОВІ ВИКОРИСТАННЯ ПРОМІЖНОГО ЗЛИТТЯ МУЛЬТИМОДАЛЬНИХ ДАНИХ

Authors:
Open Access
Publisher website
Google Scholar
Abstract
Надійне виявлення небезпечних об’єктів є критично важливим компонентом у багатьох сферах, зокрема в автономному транспорті, промисловій безпеці, моніторингових системах і робототехніці. У реальних умовах – за поганого освітлення, у складних погодних умовах, за часткового перекриття об’єктів або візуального шуму – системи, які базуються на одному типі сенсора, часто демонструють нестабільну роботу або хибні спрацьовування. З метою подолання цих обмежень у роботі запропоновано підхід, що базується на злитті мультимодальних даних із використанням механізмів уваги й оцінки критичності.Запропонована система об’єднує інформацію з RGB-камери, LiDAR, тепловізора та (опційно) тактильних сенсорів, що дозволяє формувати цілісну картину навколишнього середовища. Кожен сенсорний потік проходить через власний енкодер ознак, після чого активується механізм уваги, який зважує вклад кожного джерела даних залежно від ситуації. Об’єднаний вектор ознак проходить через детектор, що формує ймовірність присутності об’єкта, а паралельно функціонує модуль оцінювання критичності, який аналізує просторову відстань, швидкість і орієнтацію виявленого об’єкта.На основі зваженої комбінації обох оцінок – детекції та критичності – формується остаточне рішення про наявність загрози. Якщо комбіноване значення перевищує встановлений поріг, система спрацьовує: генерує тривогу, активує аварійне гальмування або передає сигнал оператору. У статті також наводиться гіпотетичний сценарій автономного водіння, у якому детально демонструється ефективність запропонованої архітектури за виявленні пішохода в умовах обмеженої видимості.Система демонструє високу точність, гнучкість і адаптивність до змін середовища. Її перевагами є збереження просторових і семантичних ознак, можливість аналізу об’єктів у різних спектральних діапазонах, а також пріоритет загроз залежно від ступеня небезпеки. У перспективі дана архітектура може стати основою для реалізації безпечних автономних рішень у транспорті, промисловості та міській інфраструктурі.

This publication has 9 references indexed in Scilit: