Программный комплекс выявления кильватерного следа и движения судов

Программный комплекс выявления кильватерного следа и движения судов - это программа для автоматического обнаружения движущихся лодок на видео с дрона. Она объединяет четыре независимых метода анализа движения:

1. Детекция кильватерного следа с помощью нейросети YOLOv9, обученной распознавать лодки и их следы.
2. Локально-компенсированный оптический поток (Farneback) для выделения движения объекта относительно фона.
3. Анализ смещения лодки между кадрами на основе трекинга по IoU.
4. Детекция белой пены (кильватерного следа) в пространстве HSV как физического признака движения.

Ключевая особенность — программа устойчива к сценариям, когда дрон следует за лодкой: даже если лодка неподвижна в кадре, движение определяется по кильватерному следу и пене.
Итоговое решение принимается путём взвешенного объединения сигналов с применением гистерезиса для устранения мерцания статуса «MOVING/STATIC». Результаты визуализируются на видео в реальном времени.
Технологии: Python, OpenCV, YOLOv9, NumPy.
Применение: мониторинг водных объектов, анализ видео с БПЛА, задачи видеонаблюдения и контроля движения судов.
Программный комплекс выявления кильватерного следа и движения судов разработан при поддержке ФГБУ «Фонд содействия развитию малых форм предприятий в научно-технической сфере» (Фонд содействия инновациям) в рамках реализации федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации». Договор о предоставлении гранта №237ГС2ИИС12-D7/76663 от 24.09.2024.

Функциональные характеристики

1. Многокомпонентная детекция движения

1.1 Детекция объектов на основе YOLOv9:

• Распознавание двух классов: boat (лодка/катер) и wake (кильватерный след).
• Фильтрация ложных срабатываний по размеру (>10% кадра) и положению у края кадра (<5 px).

1.2 Ассоциация кильватерного следа с лодкой:

• Определение движения лодки по наличию следа в её окрестности (IoU или расстояние до центра).
• Экспоненциальное затухание уверенности с увеличением расстояния.

2. Анализ оптического потока с локальной компенсацией

2.1 Вычисление плотного оптического потока (Farneback) между кадрами.

2.2 Локальная компенсация движения камеры:

• Использование кольца шириной 40 px вокруг bounding box лодки для оценки фонового движения.
• Вычитание фонового потока из потока внутри bbox для выделения собственного движения объекта.

2.3 Расчёт сигнала как 75-го перцентиля магнитуды компенсированного потока с нормализацией в [0, 1].

3. Текстурный анализ водного следа

3.1 Выделение зоны интереса вокруг лодки (×2.5 от размера bbox).

3.2 Сегментация белой пены/следа в пространстве HSV:

• Порог по яркости: V > 180.
• Порог по насыщенности: S < 80 для исключения зелени и объектов суши.

3.3 Расчёт доли ярких пикселей с линейной нормализацией (2% → 0, 15% → 1.0).

4. Трекинг и анализ смещения

4.1 Сопоставление объектов между кадрами по максимальному IoU (порог 0.25).

4.2 Расчёт смещения центра bounding box за последние 5 кадров.

4.3 Нормализация смещения относительно диагонали кадра (>3% → 1.0).

5. Интеллектуальная фузия сигналов

5.1 Взвешенное суммирование четырёх сигналов с весами:

• Wake Association (W): 0.30
• Optical Flow (F): 0.20
• Trajectory Displacement (T): 0.15
• Water Trail Texture (Tr): 0.35

5.2 Бусты (правила-исключения) для повышения уверенности в ключевых сценариях:

• Wake > 0.7 → итоговый score ≥ 0.80.
• Texture > 0.5 → score ≥ 0.65.
• Wake > 0.7 и Texture > 0.3 → score ≥ 0.90.

6. Стабилизация решения (гистерезис)

6.1 EMA-сглаживание raw score с коэффициентом α=0.3.

6.2 Двупороговый гистерезис:

• Переход STATIC → MOVING: EMA-score ≥ 0.30.
• Переход MOVING → STATIC: EMA-score < 0.15 в течение 8 кадров подряд.
• Исключение мерцания статуса между кадрами.

7. Визуализация и вывод

7.1 Аннотация видео в реальном времени:

• Цвет bounding box: красный (MOVING), зелёный (STATIC).
• Отображение wake-боксов (оранжевый).
• Полоска уверенности (motion score) над каждым bbox.
• Текст с детальной информацией: статус, EMA-score, значения всех сигналов.
• Визуализация компенсированного оптического потока (жёлтые стрелки).
• Построение траектории центра лодки.

7.2 Информационная панель с общим количеством лодок и числом движущихся объектов.

7.3 Сохранение результата в видеофайл и вывод лога в консоль каждые 50 кадров.

8. Конфигурируемость

8.1 Параметры через командную строку:

• Путь к видео и весам YOLOv9.
• Порог уверенности (conf), размер изображения (imgsz).
• Режим отображения (show) и путь для сохранения (output).

8.2 Настраиваемые константы в коде:

• Веса сигналов, пороги фильтрации, параметры детекции текстуры.
• Параметры гистерезиса и EMA-сглаживания.

9. Технические требования

Язык программирования: Python 3.8+.

Зависимости: OpenCV, NumPy, Ultralytics (YOLOv9).

Аппаратное обеспечение: рекомендуется использование GPU для ускорения инференса YOLOv9.