Parametric image registration

[mrgloom 242]

В opencv_contrib появились алгоритмы image registration, без использования FFT.

Работают только при использовании пирамиды.

https://github.com/Itseez/opencv_contrib/tree/master/modules/reg

Документ описывающий

http://research.microsoft.com/pubs/75695/Szeliski-FnT06.pdf

[Nuzhny 243]

Хороший алгоритм. Если его правильно приготовить, то быстрый и очень точный. Надо добавить, что Szeliski только описал метод, его придумали ещё до него. А называется он... оптический поток Лукаса-Канаде! Да, именно так. Только применяется он не в привычном для всех виде для набора точек (или для одной точки), а к изображениям целиком.

Правильный первоисточник называется Lucas-Kanade 20 Years On: A Unifying Framework.

P.S. Кстати, охрененный метод для стабилизации видео, работает даже там, где ключевых точек нет и/или они смазаны motion blur. И быстрее, чем на основе fft, т.к. достаточная точность достигается уже на верхних уровнях пирамиды, не обязательно спускаться на уровень оригинального изображения.

[mrgloom 242]

Да, у Szeliski как раз overview методов.

А можно этот подход расширить до non-rigid случая? Типо того что делают в области Medical Image Registration.

[Nuzhny 243]

А что конкретно имеется ввиду? Что-то за перспективным преобразованием? Какие-то деформации?

[mrgloom 242]

Не знаю точно как описать их класс, там вроде есть разные модели.

Думаю что самый простой вариант это piecewise affine warp.

Или что то типа такого.

http://bigwww.epfl.ch/thevenaz/UnwarpJ/

 

[Nuzhny 243]

Мне кажется, что такое сделать не получится.

[Smorodov 579]

Почему нет? Там тот же самый оптический поток, посчитанный для узлов решетки, только совместные перемещения узлов не описываются глобальными аффинными преобразованиями, но никто не мешает аппроксимировать  кусочно-аффинными. Это может сделать модель менее стабильной, но если целевая функция сходится к единственному минимуму и он глобальный, то все должно работать хорошо. Если рисунок похож на равномерный шум, то скорее всего будут проблемы.

 

Что то похожее на это

 

 

[Nuzhny 243]

Это не совсем тот же самый оптический поток. В смысле, я представляю, как это можно сделать для решения задачи. Но не вижу, как уложить в концепцию parametric motion, о которой мы сейчас говорим.

[Smorodov 579]

Ну да, линейные методы как в доках выше тут не катят, может будет работать, если одновременно пространство кривить (другим алгоритмом). Но по поводу достоинств/недостатков подобного комбинирования сложно судить заранее. 

 

И еще он мне как то сильно напомнил inverse compositional подход http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/AV0910/zhao.pdf .

 

Понял почему, картинки те же и автор ссылается на работу упомянутую во втором посте.

[Nuzhny 243]

Ага. Причём inverse compositional метод может быть в разы быстрее и при этом точнее прямого метода. Его в большинстве случаев и надо применять на практике.

[Smorodov 579]

Еще на тулбокс для матлаба набрел: 

http://iatool.net/documentation/