Jump to content
Compvision.ru
Smorodov

Сегментация видео.

Recommended Posts

Иерархическая сегментация видео.(с исходниками):

http://www.cc.gatech.edu/cpl/projects/videosegmentation/

Не тестил, но видео впечатляет:

Share this post


Link to post
Share on other sites

Я же правильно понимаю, что подход с суперрпикселями в данном примере сегментации полностью идентичен классике: квадратным блокам (8х8, 16х16,...) на регулярной сетке, но с учётом небольших локальных особенностей? Мне интересно, могли бы видеокодеки брать за основу именно их, а не просто квадратные блоки. Или DCT было бы не сделать?

 

P.S. Вообще, очень много классных статей и видео с ними, но... ещё ни разу не встречал практических применений типа: "Это программа/библиотека использует суперпиксели для того-то и того-то..." Такое ощущение, что они сейчас слишком медленные. Может у кого-нибудь есть положительный опыт их использования в каком-нибудь проекте? Даже есть красивые примеры трекинга одиночных объектов, но тоже на чисто абстрактных примерах.

Share this post


Link to post
Share on other sites

Я сейчас делаю интерполятор кадров.

mvtools как то непросто встроить в opencv-шную программу.

 

Реализация простейшая:

1) ищем поток от первого кадра ко второму.

2) ищем поток от второго кадра к первому.

3) синтезируем  промежуточные кадры remap-ом для обоих направлений.

4) делаем crossfade, чтобы конечные кадры сходились.

5) вставляем их в последовательность -> профит.

 

Но, есть неприятные артефакты на границе объектов.

 

Так вот, думаю что если прогнать суперпиксели не по цвету+пространству, а по цвету+пространству+оптический поток, может быть получится лучше, так как будет учитывать геометрию объектов.

 

Или вообще считать суперпиксели как обычно, по цвету, затем применить усреднение оптического потока по границам найденных ранее суперпикселей. (попробовал - не катит)

 

Может правда получиться еще чудесатее, слишком уж большая размерность пространства получается..

 

Они не медленные, даже OpenCV-шная реализация (CPU) идет почти реалайм на разрешении 1280x720 (для кодеков конечно не годится), а ведь есть еще и GPU-шные.

  • Like 2

Share this post


Link to post
Share on other sites

О, в OpenCV они уже появились! Спасибо, не знал. Надо будет попробовать на чём-нибудь типа того же трекинга.

 

Если заменять mvtools (то есть квадратные блоки) суперпикселями, то вряд ли получится намного лучше. Если вообще получится. Они также будут ошибаться на очень быстрых движениях (взмах руки, меча, голова мотоциклиста и т.п.), но работать в разы медленней. А на плавных движения, ИМХО, лучше справится с границами какой-нибудь двусторонний плотный оптический поток. Но его уже точно надо будет на GPU переносить.

Share this post


Link to post
Share on other sites

Да пока так и получается, Brox и TVL1 здесь рулят, не без огрех конечно.

Но уж больно хорошо Twixtor работает, интересно как они этого добиваются.

Share this post


Link to post
Share on other sites

Я же правильно понимаю, что подход с суперрпикселями в данном примере сегментации полностью идентичен классике: квадратным блокам (8х8, 16х16,...) на регулярной сетке, но с учётом небольших локальных особенностей? Мне интересно, могли бы видеокодеки брать за основу именно их, а не просто квадратные блоки. Или DCT было бы не сделать?

 

P.S. Вообще, очень много классных статей и видео с ними, но... ещё ни разу не встречал практических применений типа: "Это программа/библиотека использует суперпиксели для того-то и того-то..." Такое ощущение, что они сейчас слишком медленные. Может у кого-нибудь есть положительный опыт их использования в каком-нибудь проекте? Даже есть красивые примеры трекинга одиночных объектов, но тоже на чисто абстрактных примерах.

 

Вообще суперпиксели неплохо себя зарекомендовали на задаче стерематчинга. Традиционные методы типа SGM выдают зашумленные облака точек, а при помощи суперпикселей можно быстро зафитить поверхности в однородные регионы и получить уже довольно консистентные depth'ы пригодные для дальнейшей обработки. На практике такой подход дает результаты близкие к state of the art. 

  • Like 1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now


  • Recently Browsing   0 members

    No registered users viewing this page.

×