Методика настройки детектора на видео

[mrgloom 242]

Какая может быть методика настройки детектора на видео \ группу видео?

Допустим есть детектор из opencv в нём есть некие параметры, которые надо настроить под конкретное видео, как это сделать с наименьшими усилиями?

Пока в голову приходит только выдрать несколько кадров из видео, разметить там bounding box'ы и по этим данными считать некую метрику как  PASCAL VOC challenge(intersection over union).

http://stackoverflow.com/questions/22314949/compare-two-bounding-boxes-with-each-other-matlab

Насколько это применимо к видео? там могут быть смазанные кадры, т.е. надо брать какие то особые кадры?

Как сливать детекции с N последовательных фреймов в 1 объект? Нужен трекинг?

Вышеобозначенная метрика не учитывает случая, когда например объект присутвует на 10 кадрах, а мы его сдетектировали на 2 из 10. Как это учитывать? Делать разметку каждого кадра?

[Smorodov 579]

Ну, если эти параметры рассматривать как гиперпараметры классификатора, что наверное близко по смыслу, то и методы можно взять для оптимизации гиперпараметров https://en.wikipedia.org/wiki/Hyperparameter_optimization .

Есть даже либы специальные: http://www.automl.org/hpolib.html не тестил, но смотрится интересно.

По метрике, если есть размеченные данные, то можно считать среднюю по кадру ошибку по координатам/размерам рамок.

В общем, описать функцией что важно минимизировать (сформулировать целевую функцию), вытащить параметры и скормить нелинейному оптимизатору.  Например false detect дает штраф 10, пропущенный объект дает штраф 15, плюс ошибки по координатам, и размерам с соответствующими коэффициентами. Если детект дальше порогового от ground true, считать его как false detect. Ну и тому подобное.