mrgloom

Хотелось бы понять классификацию и структуру журналов\конференций\чего то то еще по computer vision и machine learning. тут есть некоторая классификация http://academic.research.microsoft.com/?SearchDomain=2&entitytype=3'>http://academic.research.microsoft.com/?SearchDomain=2&entitytype=3 и список http://academic.research.microsoft.com/RankList?entitytype=3&topDomainID=2&subDomainID=11'>http://academic.research.microsoft.com/RankList?entitytype=3&topDomainID=2&subDomainID=11 тут тоже некий список по популярности http://scholar.google.com/citations?view_op=top_venues&hl=en&vq=eng_computervisionpatternrecognition еще нужна ли какая то система каталогизации на локальном компьютере? или сейчас используя http://citeseerx.ist.psu.edu http://academic.research.microsoft.com http://scholar.google.ru/ и так всё предполагается протеганым (хотя наверно учитываются тэги которые только указаны в пейпере) а само "дерево методов" по какой либо проблеме всплывает только иногда в survey по какой либо тематике.

есть ли возможность передавать видео по usb с телефона или мыльницы в реальном режиме времени?

https://dyakonov.org/2017/03/10/cтекинг-stacking-и-блендинг-blending/

Тут есть простой пример стабилизации видео http://nghiaho.com/?p=2093 Но не очень понятно за счет чего алгоритм не реагирует на движущийся объект, или все будет стабилизироватся относительно объекта, если он будет занимать большую часть кадра? Мой кейз это съемка с фронтальной телефонной камеры, когда лицо занимает большую часть кадра, при этом человек может идти, т.е. фон сзади будет перемещатся. Возможно для стабилизации видео есть что то получше уже готовое?

В таком случае можно брать и лицевые точки, но тогда мы возвращаемся к проблеме, что они дрожат. Вот кстати похоже показана проблема движущихся объектов и слабовыраженного фона на 24 секунде. А вот этот эффект я не понял почему возникает

Что имеется ввиду? взять bbox и стабилизировать по нему? но bbox от кадра к кадру будет плавать в размерах и координатах, не думаю, что это хорошая идея.

Оказывается в opencv есть целый модуль для видеостабилизации, но нет питон биндингов. https://docs.opencv.org/3.0-beta/modules/videostab/doc/videostab.html

Вот еще с RNN https://research.nvidia.com/publication/dynamic-facial-analysis-bayesian-filtering-recurrent-neural-networks

Какие есть методы для 'стабилизации' лицевых особых точек на видео (предполагается что для каждого кадра предиктится моделью отдельно). В каку сторону смотреть kalman filter, point trackers? (так же хотелось бы не только стабильности, но и чтобы предиктить не на каждом кадре) Возможно есть какие то архитектуры dnn которые предсказывают не покадрово, а для видео(3d convolutions, rnn)? Пример где это сильно заметно

У меня опыта использования нет, я пытаюсь это прикрутить для задачи трекинга не bbox, а лицевых точек, идея в goturn максимально тупая они там просто подают 2 картинки, каждую в свою fully convolutional часть, потом конкатят и сверху fully connected слои, они там даже не заморачивались и взяли просто caffenet, по сути должно работать в ~2 раза медленнее чем базовая сетка для классификации.

Кто то пробовал GOTURN? правда ли выдаёт 100 fps? возможно есть уже что то побыстрее\получше? возможно можно ветки с Conv как то ускорить, а FC выкинуть(оставить 1)? http://davheld.github.io/GOTURN/GOTURN.html Походу развитие идеи с выкидыванием FC layer https://github.com/bertinetto/siamese-fc А тут малый размер https://github.com/bertinetto/cfnet

В итоге вроде как Lukas-Kanade и Kalman Filter люди используют. Преза от MSQRD на вопрос не отвечает, или имеется ввиду Test time results averaging. Run regressor 5 times and average results! причем непонятно это по 5 кадрам или по 5 разным инитам шейпа приближения. В openface вроде тоже какие то трекеры используются https://github.com/TadasBaltrusaitis/OpenFace/blob/master/lib/local/LandmarkDetector/src/LandmarkDetectorFunc.cpp#L215

Например laplacian https://www.pyimagesearch.com/2015/09/07/blur-detection-with-opencv/

Главная сложность(зависит от фото) это детектирование ректа плитки, потом разворот, кроп. Любой бинарный классификатор который отвечает на да\нет например linear SVM, любые фичи color hist например и т.д. или сразу пихать в CNN кроп. Для классификатора сложность так же может представлять если кол-во битых плиток очень маленькое (несбалансированная выборка).

Какая OS? Это под debug или release?

Если положение камеры и 'стола' фиксированное то достаточно 1 раз 'откалибровать масштаб' по эталону.

Если надо просто ответить на вопрос да \ нет, то ищем rect, вырезаем и пихаем в классификатор. А так все равно надо смотреть на фото, от этого будет зависеть сложность задачи.

stasm старенький и кроме хорошей документации наверно больше сейчас плюсов нет. dlib 68 точек вроде. А в OpenFace какие алгоритмы? свой самописный DL? По либам ничего не увидел https://github.com/TadasBaltrusaitis/OpenFace/blob/master/install.sh

Зависит от того какая точность нужна, т.е. от того насколько большая дисторсия у камеры. https://en.wikipedia.org/wiki/Distortion_(optics)

Например https://www.pyimagesearch.com/2016/03/28/measuring-size-of-objects-in-an-image-with-opencv/

Ну например, Читал частично: http://szeliski.org/Book/ Не читал, но выглядит солидно: https://www.amazon.com/Computer-Vision-Modern-Approach-2nd/dp/013608592X Классика: https://www.amazon.com/Digital-Image-Processing-Rafael-Gonzalez/dp/013168728X Думаю, можно читать просто главы которые интересуют. А по OpenCV: http://shop.oreilly.com/product/9780596516130.do https://www.amazon.com/gp/product/1849513244/ref=as_li_ss_tl?ie=UTF8&camp=1789&creative=390957&creativeASIN=1849513244&linkCode=as2&tag=opencv00-20 https://www.amazon.com/Mastering-OpenCV-Practical-Computer-Projects/dp/1849517827/ref=pd_bxgy_14_img_2?_encoding=UTF8&pd_rd_i=1849517827&pd_rd_r=RBKE7AP1H8E1VMVPP97Z&pd_rd_w=GEMwK&pd_rd_wg=oH1iY&psc=1&refRID=RBKE7AP1H8E1VMVPP97Z&dpID=51IluTpmK%2BL&preST=_SX218_BO1,204,203,200_QL40_&dpSrc=detail https://www.amazon.com/Mastering-OpenCV-Daniel-Lélis-Baggio-ebook/dp/B01N7G0BKE

Кто то пробовал применять tesseract-ocr не для классического OCR? Например чтение показателей с электронного циферблата, распознавание номеров, распознавание капч, text in the wild? Есть ли какой то смысл его использовать для данных задач? Судя по changelog они сейчас используют LTSM, так почему бы не использовать какой то более популярный фреймвор для DL? https://github.com/tesseract-ocr/tesseract/blob/master/ChangeLog На вскидку не нашел какие шрифты \ словари \ языки поддерживаются, чтобы можно было сразу и наглядно понять.

Ну это смотря как применять: 1. Одно дело это неявное моделирование словаря и\или частоты встречающихся соседних букв. 2. Другое это если подавать пиксели столбцами то как раз получаем последовательность, где подпоследовательность столбцов составляет букву. Вот например пример OCR на Keras (CNN+LSTM+CTC loss), где не надо делить на символы вообще, т.е. выборка подается как картинка - строка, так же насколько я понимаю и для seq2seq модели. https://github.com/keras-team/keras/blob/master/examples/image_ocr.py

Как сделать piecewise affine warp наиболее быстро? То что сейчас есть: Берется список трианглов и по 1 варпается на 1 потоке через warpAffine(для каждого триангла берется кроп вокруг него, варпается изображение и маска и вставляется на dst картинку по маске) Варианты: 1. Сделать n тредов, каждый варпает свой триангл, будут ли проблемы при записи в 1 dst изображение? 2. Возможно быстрее посчитать координаты и сделать 1 раз remap? 3. Использовать cuda::warpAffine / cuda::remap. 4. Использовать что то типа opengl просто отрисовывая трианглы (они заранее заданы и константы, т.е. меняется только положение на dst изображении) Еще варианты? Подводные камни?

Что я сделал: Взял рэндомное фронтальное лицо, задетектил 68 точек через dlib, потом через opencv сделал delaunay triangulation, оставил только то что внутри рамки(+eps) от hog face detector'а из dlib, потом вручную убрал мелкие треугольники которые мне показались ненужными и замержил некоторые точки. Как минус рот и глаза не открываются. В итоге норм, но может быть есть какой то стандард или можно лучше? тут вот например https://github.com/MarekKowalski/FaceSwap используют candide и кстати зачем нужно 3D? там какой то метод сложнее чем piecewise affine warp треугольников, а так же python 2.7 и коменты на польском так что пока отложил.