Определение угла поворота и смещения объекта

[noname 0]

Имеем свёрточную сеть, которая может распознать наличие или отсутствие объектов нескольких типов. Сейчас мы достаточно точно предварительно вырезаем маленькие кусочки изображения и классифицируем их через сеть.

Для каждого распознанного объекта есть эталонное расположение на снимке, в реальности они могут быть смещены и повёрнуты. Стоит задача определить величины этих смещений и поворотов.

Какие есть пути решения задачи? Можно ли научить сеть так, чтобы она на выходе выдавала углы и смещения?

[Smorodov 579]

Посмотрите здесь, это не 100% надежная штука, но при определенных условиях работает неплохо: https://github.com/Smorodov/LogPolarFFTTemplateMatcher 

[mrgloom 242]

Как вариант:

1. Сдетектировать объект.

2. Обучить CNN на определение скейла и поворота как регрессию.

 

p.s. конкретный пример-картинка не помешает.

[noname 0]

В 19.01.2018 at 16:17, Smorodov сказал:

Посмотрите здесь, это не 100% надежная штука, но при определенных условиях работает неплохо: https://github.com/Smorodov/LogPolarFFTTemplateMatcher 

Пробовали оригинальный вариант на питоне. К сожалению, видит только большие смещения и повороты, часто выдаёт ответ, что картинки идентичны. Возможно, это потому что у нас достаточно маленькие картинки.

 

В 19.01.2018 at 17:22, mrgloom сказал:

Как вариант:

1. Сдетектировать объект.

2. Обучить CNN на определение скейла и поворота как регрессию.

 

p.s. конкретный пример-картинка не помешает.

Не совсем понял, т.е. сформировать датасет с возможными углами и масштабами?

 

Пример приложил.

ex.7z

[mrgloom 242]

Да, можно даже искуственно нагенерить таких картинок и предсказывать например матрицу перспективного искажения 3x3 вытянутую в вектор, т.е. решаем задачу как регрессию и предсказываем 9 чисел.

[Smorodov 579]

Для гомографии есть пример здесь: https://github.com/alexhagiopol/deep_homography_estimation  

В вашем случае должно быть проще, т.к. меньше степеней свободы.

[noname 0]

Спасибо! Попробуем.