Перейти к содержимому
Compvision.ru

Recommended Posts

Иерархическая сегментация видео.(с исходниками):

http://www.cc.gatech.edu/cpl/projects/videosegmentation/

Не тестил, но видео впечатляет:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще по видео сегментации:

 

http://www.cs.berkeley.edu/~katef/videoseg.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я же правильно понимаю, что подход с суперрпикселями в данном примере сегментации полностью идентичен классике: квадратным блокам (8х8, 16х16,...) на регулярной сетке, но с учётом небольших локальных особенностей? Мне интересно, могли бы видеокодеки брать за основу именно их, а не просто квадратные блоки. Или DCT было бы не сделать?

 

P.S. Вообще, очень много классных статей и видео с ними, но... ещё ни разу не встречал практических применений типа: "Это программа/библиотека использует суперпиксели для того-то и того-то..." Такое ощущение, что они сейчас слишком медленные. Может у кого-нибудь есть положительный опыт их использования в каком-нибудь проекте? Даже есть красивые примеры трекинга одиночных объектов, но тоже на чисто абстрактных примерах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я сейчас делаю интерполятор кадров.

mvtools как то непросто встроить в opencv-шную программу.

 

Реализация простейшая:

1) ищем поток от первого кадра ко второму.

2) ищем поток от второго кадра к первому.

3) синтезируем  промежуточные кадры remap-ом для обоих направлений.

4) делаем crossfade, чтобы конечные кадры сходились.

5) вставляем их в последовательность -> профит.

 

Но, есть неприятные артефакты на границе объектов.

 

Так вот, думаю что если прогнать суперпиксели не по цвету+пространству, а по цвету+пространству+оптический поток, может быть получится лучше, так как будет учитывать геометрию объектов.

 

Или вообще считать суперпиксели как обычно, по цвету, затем применить усреднение оптического потока по границам найденных ранее суперпикселей. (попробовал - не катит)

 

Может правда получиться еще чудесатее, слишком уж большая размерность пространства получается..

 

Они не медленные, даже OpenCV-шная реализация (CPU) идет почти реалайм на разрешении 1280x720 (для кодеков конечно не годится), а ведь есть еще и GPU-шные.

  • Like 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

О, в OpenCV они уже появились! Спасибо, не знал. Надо будет попробовать на чём-нибудь типа того же трекинга.

 

Если заменять mvtools (то есть квадратные блоки) суперпикселями, то вряд ли получится намного лучше. Если вообще получится. Они также будут ошибаться на очень быстрых движениях (взмах руки, меча, голова мотоциклиста и т.п.), но работать в разы медленней. А на плавных движения, ИМХО, лучше справится с границами какой-нибудь двусторонний плотный оптический поток. Но его уже точно надо будет на GPU переносить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да пока так и получается, Brox и TVL1 здесь рулят, не без огрех конечно.

Но уж больно хорошо Twixtor работает, интересно как они этого добиваются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я же правильно понимаю, что подход с суперрпикселями в данном примере сегментации полностью идентичен классике: квадратным блокам (8х8, 16х16,...) на регулярной сетке, но с учётом небольших локальных особенностей? Мне интересно, могли бы видеокодеки брать за основу именно их, а не просто квадратные блоки. Или DCT было бы не сделать?

 

P.S. Вообще, очень много классных статей и видео с ними, но... ещё ни разу не встречал практических применений типа: "Это программа/библиотека использует суперпиксели для того-то и того-то..." Такое ощущение, что они сейчас слишком медленные. Может у кого-нибудь есть положительный опыт их использования в каком-нибудь проекте? Даже есть красивые примеры трекинга одиночных объектов, но тоже на чисто абстрактных примерах.

 

Вообще суперпиксели неплохо себя зарекомендовали на задаче стерематчинга. Традиционные методы типа SGM выдают зашумленные облака точек, а при помощи суперпикселей можно быстро зафитить поверхности в однородные регионы и получить уже довольно консистентные depth'ы пригодные для дальнейшей обработки. На практике такой подход дает результаты близкие к state of the art. 

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×