mrgloom 242 Жалоба Опубликовано September 26, 2018 Какие есть методы для 'стабилизации' лицевых особых точек на видео (предполагается что для каждого кадра предиктится моделью отдельно). В каку сторону смотреть kalman filter, point trackers? (так же хотелось бы не только стабильности, но и чтобы предиктить не на каждом кадре) Возможно есть какие то архитектуры dnn которые предсказывают не покадрово, а для видео(3d convolutions, rnn)? Пример где это сильно заметно Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано September 26, 2018 О, я сам тоже подхожу к этой проблеме. Как решать ещё не смотрел, но где есть решение, чтобы посмотреть, знаю - OpenFace. Демка двухгодичной давности выглядит отлично: Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Pavia00 32 Жалоба Опубликовано September 26, 2018 Есть метод BRISK - https://www.robots.ox.ac.uk/~vgg/rg/papers/brisk.pdf Сам не пробовал. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано September 27, 2018 BRISK - это же лишь один из видов дескрипторов. Просто отслеживать их вряд ли получится, потому что надо следить за общей формой лица. То есть надо и правильное положение точек найти, и следить за лицом. Например, как это делается. Но для видео, возможно, это делается проще и быстрее. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано September 30, 2018 В итоге вроде как Lukas-Kanade и Kalman Filter люди используют. Преза от MSQRD на вопрос не отвечает, или имеется ввиду Test time results averaging. Run regressor 5 times and average results! причем непонятно это по 5 кадрам или по 5 разным инитам шейпа приближения. В openface вроде тоже какие то трекеры используются https://github.com/TadasBaltrusaitis/OpenFace/blob/master/lib/local/LandmarkDetector/src/LandmarkDetectorFunc.cpp#L215 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано October 14, 2018 Вот еще с RNN https://research.nvidia.com/publication/dynamic-facial-analysis-bayesian-filtering-recurrent-neural-networks Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах