mrgloom

https://dyakonov.org/2017/03/10/cтекинг-stacking-и-блендинг-blending/

В таком случае можно брать и лицевые точки, но тогда мы возвращаемся к проблеме, что они дрожат. Вот кстати похоже показана проблема движущихся объектов и слабовыраженного фона на 24 секунде. А вот этот эффект я не понял почему возникает

Что имеется ввиду? взять bbox и стабилизировать по нему? но bbox от кадра к кадру будет плавать в размерах и координатах, не думаю, что это хорошая идея.

Оказывается в opencv есть целый модуль для видеостабилизации, но нет питон биндингов. https://docs.opencv.org/3.0-beta/modules/videostab/doc/videostab.html

Тут есть простой пример стабилизации видео http://nghiaho.com/?p=2093 Но не очень понятно за счет чего алгоритм не реагирует на движущийся объект, или все будет стабилизироватся относительно объекта, если он будет занимать большую часть кадра? Мой кейз это съемка с фронтальной телефонной камеры, когда лицо занимает большую часть кадра, при этом человек может идти, т.е. фон сзади будет перемещатся. Возможно для стабилизации видео есть что то получше уже готовое?

Вот еще с RNN https://research.nvidia.com/publication/dynamic-facial-analysis-bayesian-filtering-recurrent-neural-networks

У меня опыта использования нет, я пытаюсь это прикрутить для задачи трекинга не bbox, а лицевых точек, идея в goturn максимально тупая они там просто подают 2 картинки, каждую в свою fully convolutional часть, потом конкатят и сверху fully connected слои, они там даже не заморачивались и взяли просто caffenet, по сути должно работать в ~2 раза медленнее чем базовая сетка для классификации.

Кто то пробовал GOTURN? правда ли выдаёт 100 fps? возможно есть уже что то побыстрее\получше? возможно можно ветки с Conv как то ускорить, а FC выкинуть(оставить 1)? http://davheld.github.io/GOTURN/GOTURN.html Походу развитие идеи с выкидыванием FC layer https://github.com/bertinetto/siamese-fc А тут малый размер https://github.com/bertinetto/cfnet

В итоге вроде как Lukas-Kanade и Kalman Filter люди используют. Преза от MSQRD на вопрос не отвечает, или имеется ввиду Test time results averaging. Run regressor 5 times and average results! причем непонятно это по 5 кадрам или по 5 разным инитам шейпа приближения. В openface вроде тоже какие то трекеры используются https://github.com/TadasBaltrusaitis/OpenFace/blob/master/lib/local/LandmarkDetector/src/LandmarkDetectorFunc.cpp#L215

Какие есть методы для 'стабилизации' лицевых особых точек на видео (предполагается что для каждого кадра предиктится моделью отдельно). В каку сторону смотреть kalman filter, point trackers? (так же хотелось бы не только стабильности, но и чтобы предиктить не на каждом кадре) Возможно есть какие то архитектуры dnn которые предсказывают не покадрово, а для видео(3d convolutions, rnn)? Пример где это сильно заметно

Например laplacian https://www.pyimagesearch.com/2015/09/07/blur-detection-with-opencv/

Главная сложность(зависит от фото) это детектирование ректа плитки, потом разворот, кроп. Любой бинарный классификатор который отвечает на да\нет например linear SVM, любые фичи color hist например и т.д. или сразу пихать в CNN кроп. Для классификатора сложность так же может представлять если кол-во битых плиток очень маленькое (несбалансированная выборка).

Какая OS? Это под debug или release?

Если положение камеры и 'стола' фиксированное то достаточно 1 раз 'откалибровать масштаб' по эталону.

Если надо просто ответить на вопрос да \ нет, то ищем rect, вырезаем и пихаем в классификатор. А так все равно надо смотреть на фото, от этого будет зависеть сложность задачи.