Доска почета

Вышла еще одна книжка (см. №3) и я решил для удобства собрать эти книжки вместе: 1)"Learning OpenCV. Computer Vision in C++ with the OpenCV Library. 2nd Edition" http://shop.oreilly.com/product/0636920022497.do Благородная попытка перевода ее на русский язык первого издания этой книги: http://locv.ru/wiki/%D0%93%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0 2)"OpenCV 2 Computer Vision Application Programming Cookbook" ссылка на исходный код на сайте http://www.laganiere.name/opencvCookbook/ 3)"Mastering OpenCV with Practical Computer Vision Projects" очень интересные проекты с исходниками. http://www.packtpub.com/cool-projects-with-opencv/book исходники здесь: https://github.com/MasteringOpenCV/code Еще одна книжка с opensouce исходниками: Practical OpenCV By Samarth Brahmbhatt Список книг по Opencv от opencv.org: http://opencv.org/books.html Еще бесплатная книжка: "Modern Robotics with OpenCV" здесь: http://www.sciencepublishinggroup.com/book/B-978-1-940366-12-8.aspx

Кому интересно, написал довольно шуструю вычиталку фона(пока только последовательная версия, до распараллеливания пока руки не дошли) основанную на алгоритме VIBE с оберткой для использования в OpenCV. Оригинальная статья: http://orbi.ulg.ac.be/bitstream/2268/145853/1/Barnich2011ViBe.pdf Мои исходные коды: https://github.com/BelBES/VIBE

Привет всем! Вот, попытался сделать пример вывода видео на форму. И, думаю, получилось Для того, что-бы скопировать IplImage в объект .NET типа Image, достаточно всего лишь одной строки: #include <opencv/cv.h> #include <opencv/highgui.h> ... using namespace System; using namespace System::Windows::Forms; using namespace System::Drawing::Imaging; using namespace System::Drawing; ... IplImage *iplImg; ... // Копирование IplImage в объект .NET типа Image Image ^image = gcnew Bitmap(iplImg->width, iplImg->height, iplImg->widthStep, PixelFormat::Format24bppRgb, IntPtr(iplImg->imageData)); ... или, с использованием класса Mat: cv::Mat imgMat; // Копирование cv::Mat в объект .NET типа Image Image ^img = gcnew Bitmap(imgMat.cols, imgMat.rows, imgMat.step, PixelFormat::Format24bppRgb, IntPtr(imgMat.data)); Чтобы вывести изображение на компоненту PictureBox, достаточно следующей строки в одном из методов вашей формы: this->pictureBox1->Image = image; Если вам нужен HBITMAP, то получить его можно следующим образом: Bitmap ^image = gcnew Bitmap(iplImg->width, iplImg->height, iplImg->widthStep, PixelFormat::Format24bppRgb, IntPtr(iplImg->imageData)); HBITMAP hb = (HBITMAP)image->GetHbitmap().ToPointer(); У меня вышеприведенные примеры отлично работают с OpenCV 2.2 в Visual Studio 2008/2010. К сообщению прилагаю проект простого видео плеера, написанного с помощью OpenCV 2.2 в Visual Studio 2008. Он может воспроизводить все типы видео, которые берет OpenCV и видео, захваченное с видеокамеры. Не судите строго за возможные несовершенства в коде Просто, я старался, что бы были основные функции плеера. Пояснения к проекту. Компиляция: Чтобы успешно скомпилировать проект, достаточно в опциях Visual Studio установить пути на OpenCV в следующем виде: %OPENCV_HOME%\include и %OPENCV_HOME%\lib Например, так: C:\OpenCV2.2\include и C:\OpenCV2.2\lib Другое: При создании проекта использовались следующие опции и установки. .NET Framework 3.5. General/Common Language Runtime Support: Common Language Runtime Support (/clr) C/C++/Advanced/Disable Specific Warnings: 4996;4793 Linker/Input/Additional Dependencies: opencv_core220d.lib opencv_highgui220d.lib opencv_imgproc220d.lib opencv_objdetect220d.lib Для версии Release: без "d" после 220. В компоненте PictureBox свойство SizeMode имеет значение Zoom, что позволяет сохранить оригинальное соотношение сторон кадра. Для визуализации кадров используется Tick таймера. При двойном щелчке по области отображения, происходит переход в полноэкранный режим и обратно. Надеюсь, пример кому-нибудь пригодится VideoOnForm.zip

Здравствуйте, решил заняться переводом книги "Learning OpenCV", перевёл уже 37 глав. Присоединяйтесь будем переводить вместе! - http://locv.ru

проект здесь: FaceDetect.rar дополнительные классификаторы (нос, глаза, рот, тело):HaarClassifiers.rar здесь еще куча каскадов: Каскады хаара

Самокодный вариант AdaBoost. (Виолы и Джонса там нет , только AdaBoost ) Надеюсь оформлю статью по нему, но и в листинге старался разместить побольше комментариев. AdaBoost.cpp И ссылка на мою презентацию по детекту лиц там тоже есть немного пояснений по теме: http://www.compvision.ru/forum/index.php?app=core&module=attach&section=attach&attach_id=369

Наконец-то дошли руки Оптимизации не делал, просто проверил идею. Пример кода максимизирует расстояние между средним цветом внутри и снаружи прямоугольной области. Максимизирует он это расстояние при помощи подбора параметров этого прямоугольника (методом градиентного спуска). Вот что я имел ввиду, когда говорил непонятные вещи Результат работы программы (изображение может быть и цветным): #include "opencv2/opencv.hpp" #include <vector> using namespace std; using namespace cv; //---------------------------------------------------------- // Это и есть вычисление расстояния между средними цветами //---------------------------------------------------------- double getLikelihood(Mat& img,cv::RotatedRect& rr) { double likelihood=0; Mat mask=Mat::zeros(img.size(),CV_8UC1); // rotated rectangle Point2f rect_points[4]; rr.points( rect_points ); vector<cv::Point> pts(4); for(int i=0;i<4;++i) { pts[i]=rect_points[i]; } cv::fillConvexPoly(mask,pts,Scalar::all(255)); imshow("mask",255-mask); Scalar cc1,cc2; cc1=cv::mean(img,mask); cc2=cv::mean(img,255-mask); likelihood=norm(cc1,cc2,cv::NORM_L2); return likelihood; } //---------------------------------------------------------- // Градиент, чтобы знать куда менять параметры //---------------------------------------------------------- void getLikelihoodGradient(Mat& img,cv::RotatedRect& rr,cv::RotatedRect& drr) { cv::RotatedRect rrdx=rr; rrdx.center.x+=1; cv::RotatedRect rrdy=rr; rrdy.center.y+=1; cv::RotatedRect rrdw=rr; rrdw.size.width+=1; cv::RotatedRect rrdh=rr; rrdh.size.height+=1; cv::RotatedRect rrdang=rr; rrdang.angle+=1; cv::RotatedRect rrdxn=rr; rrdxn.center.x-=1; cv::RotatedRect rrdyn=rr; rrdyn.center.y-=1; cv::RotatedRect rrdwn=rr; rrdwn.size.width-=1; cv::RotatedRect rrdhn=rr; rrdhn.size.height-=1; cv::RotatedRect rrdangn=rr; rrdangn.angle-=1; float l0=getLikelihood(img,rr); cout << l0 << endl; float dlx=getLikelihood(img,rrdx)-getLikelihood(img,rrdxn); float dly=getLikelihood(img,rrdy)-getLikelihood(img,rrdyn); float dlw=getLikelihood(img,rrdw)-getLikelihood(img,rrdwn); float dlh=getLikelihood(img,rrdh)-getLikelihood(img,rrdhn); float dlang=getLikelihood(img,rrdang)-getLikelihood(img,rrdangn); float scale=sqrt(dlx*dlx+dly*dly+dlw*dlw+dlh*dlh+dlang*dlang); dlx/=scale; dly/=scale; dlw/=scale; dlh/=scale; dlang/=scale; drr.center.x=dlx; drr.center.y=dly; drr.size.width=dlw; drr.size.height=dlh; drr.angle=dlang; } //---------------------------------------------------------- // Генерируем тестовое зашумленное изображение //---------------------------------------------------------- void generateTestImage(Mat& img) { img=Mat(512,512,CV_8UC3); cv::RotatedRect rr(cv::Point2f(200,300),Size(140,180),67); img=Scalar::all(0); // rotated rectangle Point2f rect_points[4]; rr.points( rect_points ); vector<cv::Point> pts(4); for(int i=0;i<4;++i) { pts[i]=rect_points[i]; } cv::fillConvexPoly(img,pts,Scalar(255,255,255)); for(int i=0;i<100000;++i) { int x=rand()%512; int y=rand()%512; img.at<Vec3b>(y,x)=Vec3b(255,255,255); } for(int i=0;i<105000;++i) { int x=rand()%512; int y=rand()%512; img.at<Vec3b>(y,x)=Vec3b(0,0,0); } } //---------------------------------------------------------- // //---------------------------------------------------------- int main(int argc, char* argv[]) { Mat img,img_cpy; generateTestImage(img); imshow("testimg",img); cv::waitKey(0); cv::RotatedRect rr(cv::Point2f((float)img.cols/2.0,(float)img.rows/2.0),Size(img.cols-100,img.rows-100),0); cv::RotatedRect drr; while(1) { img_cpy=img.clone(); getLikelihoodGradient(img,rr,drr); // Меняем параметры в сторону увеличения расстояния между средними цветами rr.center+=drr.center; rr.size+=drr.size; rr.angle+=drr.angle; // rotated rectangle Point2f rect_points[4]; rr.points( rect_points ); for( int j = 0; j < 4; j++ ) { line( img_cpy, rect_points[j], rect_points[(j+1)%4], Scalar(0,255,0), 2, CV_AA ); } imshow("img_cpy",img_cpy); waitKey(10); } cv::destroyAllWindows(); return 0; }

2 Nuzhny Результаты сравнения по скорости собирал 4-2 года назад (потом стало лень) на этой странице (смотреть от где-то от середины и все постскрипты). Сравнивал с пятью чужими программами (вернее, с опубликованными в печати или в интернете временами расчётов - исходник-то был доступен всего для одной из этих 5 программ). Сравнивал ориентировочно - с учётом прикидок о разнице в быстродействии моего и других процессоров. Исходников не открываю, демку где-то в те годы на сайте предложил сделать-дать только тому, кто придёт с тяжёлым проектом и гарантирует отдачу проекта в мои руки после того, как демка всё заявленное (как скорость, так и просто надёжность-работоспособность) продемонстрирует. По потреблению памяти - у меня на копейки больше, т.к. все данные обрабатываемого примера (именно одного текущего примера) и внутренние сигналы/веса сети оптимально раскладываются с учётом выравнивания блоков данных на границу параграфа. Ну и в коде 1.5 ноу-хау - одно чисто моё (на удивление - почему-то нигде и никем ранее не опубликованное) о самом шустром варианте распараллеливания обучения нейросети (вообще без синхронизаций потоков на уровне операционной системы), второе - об аппроксимированном вычислении нелинейности нейрона (которое опубликовано, но почему-то никто об этом не знает и на практике не применяет). И сейчас реализованы пара канонических вариантов свёрточных сеток (ЛеКуновский и Симардовский), а также другие её клоны (от Эндрю Нг, Свена Бенке) - вернее, из разных слоёв-кубиков можно собирать свой/новый вариант. Также у нейронов можно ставить полиномиальные сумматоры - не на всех слоях свёрточной сети это помогает/полезно, но если помогает - то точность растёт. Я так даже самого Хинтона опроверг - он в прошлом году говорил, что на задаче MNIST на обычном персептроне никто никогда не опустился ниже 1.6% ошибок, а я таки постановкой полиномиальных сумматоров только на вых.слой получил точность лучше (см последний абзац тут) (хотя сам Хинтон в 1986г в двухтомнике PDP описывал формулы обратного распространения ошибки в том числе и для полиномиальных сумматоров - но вот почему-то сам не пользуется сейчас сигма-пи нейронами в своих сетях, может быть, зря).

покопавшись в исходниках можно найти для себя несколько заготовок, таких как построение 3d модели лица, его трекинг и даже ( на начальном этапе ) вычисление значения фильтров габора в ключевых точках этой модели. может кому пригодиться... трекинг работает весьма быстро для одного человека, но я по быстрому переделал под свои цели для двоих. в основе детектирования ключевых точек - Flandmark_detector, трекинга - headtracker-master. (лиценция которых GNU GPL, для тех кого это вообще интересует). должно даже собраться и заработать (под ubuntu писалось) Написано на С++, есть куски на С. для работы нужна opencv2.4.4 lndmark.tar.gz

Соорудил быстрый и маленький кусочно-аффинный варпер (перенос фрагмента изображения из одной сетки треугольников в другую): WarpAffine.rar

Слайды одной из моих лекций. Детектор лиц на основе метода Виолы-Джонса.rar

Так случилось, что я активно использую Delphi в своей работе (программирование по работе, собственные открытые и закрытые проекты) и вот мне понадобилось написать программу, использующую открытую библиотеку компьютерного зрения OpenCV. Что же делать, ведь официально OpenCV использовать в Delphi невозможно, а перебираться на C ради одной программы слишком долго. Но нет ничего невозможного… Немного поискав в интернете, я нашел несколько проектов по использованию OpenCV в Delphi. Первый, второй, третий и наиболее свежий и удачный — четвертый, который я и взял за основу. Проект на github мне показался интересным, реализовано много функций OpenCV, есть много примеров на Delphi, но проект заброшен автором и пришлось взяться за свой. Все текущие наработки я выложил на code.google.com/p/opencv-delphi-new/ В настоящий момент сделано: 1. Поддержка RAD Studio XE3. 2. Добавлены новые функции: cvFlip, cvClearMemStorage, cvCreateChildMemStorage, cvRectangle, cvRetrieveFrame, cvIntegral, cvGetPerspectiveTransform, cvWarpPerspective, cvCreateMat, cv2DRotationMatrix, cvWarpAffine, cvFindContours, cvHaarDetectObjects. 3. Добавлено 6 новых примеров: FaceDetect — Пример детектирования лица в видеопотоке с использованием преобразования Хафа. FindContours — Нахождение контуров изображения. Integral — Интегральное изображение. WarpAffine — Трансформация изображения — аффинные преобразования (Поворот изображения на произвольный угол). WrapPrespective — Трансформация изображения — гомография (Перспективная трансформация). MatchShapes — Поиск объекта на изображении по шаблону (Сравнение объектов по моментам их контуров). В добавленных примерах я постарался подробно расписать все манипуляции для достяжения нужного результата. Если кому-то будет интересна тема использования OpenCV в Delphi, то пишите мне на email или оставляйте комментарии. Если тематика использования OpenCV в принципе интересна, то могу написать несколько статей, только напишите, какое направление использования OpenCV Вас интересует.

Полезный сайт по теории: http://courses.graphicon.ru/ Материал по ASM и AAM: http://courses.graphicon.ru/files/courses/smisa/2008/lectures/lecture10.pdf

И еще проект ( активные контуры (ASM) переделанный (на чистый OpenCV 2.X) мной проект одного китайца, который переделал его из STASM ): В архиве конвертер моделей STASM в файл с матрицами OpenCV, и солюшн для студии с двумя проектами: библиотекой и демкой. Надеюсь на дальнейшее развитие проекта. ASMCompvisionEdition.rar

Где-то есть деление на ноль. Смотри свои данные.

Привет. В общем вот выкладываю перевод с БИЛДЕРА на ВИЖУАЛ (кстати недавно совсем переводил), "Создание APIшного битмапа из интеловского RGB изображения" присутствует. Смотри, разбирайся. Если, что не пойдет пиши - разберемся. [Прикрепленный файл был потерян при откате форума]

Здравствуйте, RinOS. Рекомендую все-таки использовать cvStereoRectify() т.к. результат его работы более точен, а cvStereoRectifyUncalibrated() лучше использовать когда существуют значительные непараллельности в оптических осях камер, насколько я понимаю. Критерием правильности калибровки стерео может служить правильное число в векторе T (который означает расстояние между оптическими осями по оси x, y и z) камер. У меня, при расстоянии между камерами 12 см, и 29 калибровочных пар изображений 640х480 в оттенках серого (изображения я сохраняю предварительно в bmp, чтобы каждый раз не мучаться с их показом камерам) величина составляет: цитирую xml содержимое <data>-1.1886876922892217e-001 -7.8263643755714435e-004 -4.6620003758508491e-003</data>, (все величины в метрах - первая величина - это сдвиг по оси X, то есть расстояние между камерами). То есть 1.6 %, что может быть точнее измерянного мною расстояния. Чем шире расстояние между камерами, тем лучше будет восприятие на более дальних расстояниях, и тем хуже будет поле зрения камеры, при обзоре близких предметов. Для того чтобы величина вектора T содержала метрические величины, необходимо, чтобы вы правильно (в метрических единицах) указали размер клеточки при калибровке. В книге learning OpenCV, в примере стерео (стр 445), есть константа squareSize, у меня в коде примерно так (размер клетки 3 см): float chesbSquareSize = 0.030f; // 30 mm is a Square size for (size_t pair_idx = 0; pair_idx < boards_count; pair_idx++) { for (size_t i=pair_idx*board_n,j = 0;j < board_n; ++i,++j) { // Chessboard points CV_MAT_ELEM(*image_pointsL,float,i,0) = vCalibData[IMG_LEFT][pair_idx].vPoints[j].x; CV_MAT_ELEM(*image_pointsL,float,i,1) = vCalibData[IMG_LEFT][pair_idx].vPoints[j].y; CV_MAT_ELEM(*image_pointsR,float,i,0) = vCalibData[IMG_RIGHT][pair_idx].vPoints[j].x; CV_MAT_ELEM(*image_pointsR,float,i,1) = vCalibData[IMG_RIGHT][pair_idx].vPoints[j].y; // Linear space remapping points CV_MAT_ELEM(*object_points,float,i,0) = (float)(j/w) * chesbSquareSize; CV_MAT_ELEM(*object_points,float,i,1) = (float)(j%w) * chesbSquareSize; CV_MAT_ELEM(*object_points,float,i,2) = 0; }; CV_MAT_ELEM(*point_counts,UINT,pair_idx,0) = (UINT)board_n; }; Откалиброванные матрицы удобно сохранять в xml. Для того, чтобы калибровка была корректной, рекомендуют использовать "шахматную доску" с не одинаковым кол-вом клеток по ширине и высоте (я заметил вы такую и использовали). Для улучшения качества BlockMatcher'а, попробуйте BMState->uniquenessRatio = 0; Привожу мои рабочие параметры: BMState->preFilterSize = 17; BMState->preFilterCap = 31; BMState->SADWindowSize = 11; BMState->minDisparity = 13; BMState->numberOfDisparities = 256; BMState->textureThreshold = 35; BMState->uniquenessRatio = 0; Искомую матрицу репроекции Q вы можете заполнить вручную по формуле Q= стр 435 Learn OpenCV, используя ранее вычисленные матрицы: CameraMatrix и T, например.. но мне кажется это сложный путь, и ... некоторые величины (f, n) придется выдумывать. Вот набросал матрицу, которую вы можете использовать, подставив лишь расстояние между объективами камер: Но я не уверен, что она даст для вас точный и качественный результат. f можно уменьшить вовсе до 5 метров. Если вы вызовете cvStereoRectify() то наверняка ничего не потеряете, по книге инных вариантов не приводится. Матрицу Q нельзя извлечь из cvStereoRectifyUncalibrated() поскольку (стр 431): То есть, теоретически, если вы при калибровке, задавали реальные метрические координаты (с помощью размера) ваших клеточек, то на выходе ReprojectTo3D проекции получите реальные размеры и расстояния до объекта в метрах. Насколько я понимаю, disparityImage должен быть Float(существует быстрый вариант с Int). Подавать нужно disparityImage не нормализованный. Репроекцией еще сам не занимался, поэтому грабли раскрыть в этой теме пока не могу (может на этих выходных, тогда я бы отписался здесь). Прикрепляю свою шахматную доску (visio), может пригодится.

Ищи контуры и закрашивай те, площадь которых меньше некоторого порога

Гомография же задаёт в общем случае перспективное преобразование. В этом случае, между плоскостями двух снимков есть 2 угла: поворота и наклона. И они, кажется, связаны друг с другом. Если мы имеем дело с аффинным преобразованием, то да - у нас есть один угол поворота и всё.

Наткнулся на большой склад интересных алгоритмов с кодом: https://paperswithcode.com/area/computer-vision

Да, именно последнее. Если посмотретьна результаты трекинга одного объекта в VOT 2018, то в победителях уже сиамские нейросети. У них свои недостатки, например, их реалтайм - это реалтайм на GT 2080 Ti, что совсем грустно. Реализаций полно на Гитхабе, например тут и тут.

https://github.com/AliMorty/Markov-Random-Field-Project/blob/master/Codes/README.md https://github.com/nicholasjclark/MRFcov https://github.com/xinario/defocus_segmentation

Нашёл чувака, который занимается пульсом. Его работы впечатляют больше, чем успехи из MIT. К сожалению, исходники являются собственностью Phillips и их не потестить. Вот. Насколько я понимаю, главным его нововведением является замена PCA (PCA у MIT, ICA у Smorodov) на POS (Plane Orthogonal to the Skin-tone direction). Что и дало такую точность.

Добрый день. Наткнулся на интересный тренажер для БПЛА. Кто-то уже пробовал? https://github.com/Microsoft/AirSim По поводу генерирования датасета говориться следующее: С виду этот LogViewer не имеет ничего полезного для автоматического аннотирования сцены. И вообще не понятно, возможно ли вытащить аннотированые изображения из тренажера.

Нарушил многолетнее молчание и зафигачил новый пост на Хабру про последние достижения науки и техники в области Feature Matching'а: https://habrahabr.ru/post/323688/ Т.ч. кому интересна тема, вэлкам) Критика, пожелания, замечания приветствуются!

Спасибо всем за помощ! Я дописал свою программку, теперь работа стала еще скучнее))) Вот результат работы:

Статья о том как ускорить CPU Caffe и как использовать CPU+GPU. https://cs.stanford.edu/people/shadjis/CcT_DanaC.pdf http://arxiv.org/pdf/1504.04343.pdf https://github.com/HazyResearch/CaffeConTroll

Я сейчас делаю интерполятор кадров. mvtools как то непросто встроить в opencv-шную программу. Реализация простейшая: 1) ищем поток от первого кадра ко второму. 2) ищем поток от второго кадра к первому. 3) синтезируем промежуточные кадры remap-ом для обоих направлений. 4) делаем crossfade, чтобы конечные кадры сходились. 5) вставляем их в последовательность -> профит. Но, есть неприятные артефакты на границе объектов. Так вот, думаю что если прогнать суперпиксели не по цвету+пространству, а по цвету+пространству+оптический поток, может быть получится лучше, так как будет учитывать геометрию объектов. Или вообще считать суперпиксели как обычно, по цвету, затем применить усреднение оптического потока по границам найденных ранее суперпикселей. (попробовал - не катит) Может правда получиться еще чудесатее, слишком уж большая размерность пространства получается.. Они не медленные, даже OpenCV-шная реализация (CPU) идет почти реалайм на разрешении 1280x720 (для кодеков конечно не годится), а ведь есть еще и GPU-шные.

Взял класс отсюда и приделал к OpenCV. http://ivrg.epfl.ch/supplementary_material/RK_SLICSuperpixels/index.html Дальше хочу перевести его на opencv-шные функции, но для экспериментов и так годится. (неплохо только бы еще порядок байтов при перегоне в ARGB перепроверить) Документ с описанием: SLIC_Superpixels_TR_2.pdf Солюшн для 2010-й студии: OpenCV_HW.rar Результат работы программы: Может работать и с видео (я пока не пробовал):

Попробуй Intraface прикрутить: там 49 особых точек, остальные я думаю можно интерполяцией расставить. IntraFace предалагает либу для некоммерческого использования, есть демка, идет под винду и линукс, зависит от OpenCV. Когда-то на меня сильно произвел впечатление ролик . Но ничего подобного я сделать не мог и инструментная база была похуже.

Ну вот тут вроде решили эту проблему используя boost'овые треды.

Здесь похоже на то что надо : http://www.cse.psu.edu/~yanxi/lattice.pdf http://www.di.ens.fr/~josef/publications/torii13.pdf По первой ссылке есть упоминание исходников, но отправляет в яблочное облако и требует логин с паролем (http://minwoopark.us/MyNewSite/Data_%26_Code/Entries/2011/9/20_Deformed_Lattice_Detector.html). По времени в первой работе упоминается, что матлабовкий вариант работал 8 часов Возможно стоит погуглить по фразам вроде "symmetry group detector".

Спасибо за ответ ниже даю ссылки на ролики работы трекера с разными фильтрами, фильтром частиц и фильтром Калмана по роликам можно сказать, что всё же у фильтра Калмана меньше ложняка получается возможно настроил я как-то не так фильтр частиц, но приблизительно такой вариант получался всегда, ниже прикрепил класс фильтр частиц написанный по аналогии с Калманом. Пробовал различные распределения вероятностей для частиц.. особо сильного улучшения не было //condens->flConfidence[i] = exp(1.0 / (sqrt(diffX * diffX + diffY * diffY))); //condens->flConfidence[i] = exp(-(sqrt(diffX * diffX + diffY * diffY))); //condens->flConfidence[i] = exp(-((diffX*diffX)/(2*diffX * diffX + 2*diffY * diffY)))*exp(-((diffY*diffY)/(2*diffX * diffX + 2*diffY * diffY))); //condens->flConfidence[i] = exp(-((diffX*diffX)/(2*xRange *yRange)))*exp(-((diffY*diffY)/(2*xRange *yRange))); condens->flConfidence[i] = 1.0 / (sqrt(diffX * diffX + diffY * diffY)); ParticleFilter.h ParticleFilter.cpp

Перетащил из LibHand модель руки, проверял под vs2010 x64. Использует движок Ogre, у меня версия 1.9 (устанавливал готовый SDK). Программа генерирует OpenCV-шное изображение трехмерной руки, у которой можно задать углы поворота всех суставов. Можно применять для определения положения руки по моно изображению. LibHand_new.rar С системой рендеринга OpenGL (программа сама ее ищет и выбирает, при наличии) у меня работает реалтайм (может и быстрее, не проверял). Если выбран DirectX, будут тормоза, это в лучшем случае, в худшем падает с ошибкой. Подправил aspect ratio теперь руку не плющит.

Реализовал решатель уравнения Пуассона для изображений. Если кратко, то по границе изображения и его градиентам восстанавливается исходное изображение. Применяется для различных манипуляций в пространстве градиентов (блендинг, фильтры, и т.д.). Например, реализовал на нем фильтр и блендер (в исходнике есть). Примеры работы: Смесь яблока апельсином: Фильтр обнуляющий слабые (меньше заданного порога) градиенты: (Порог 0.035) (Порог 0.045) Исходник: poisson_main.cpp ЗЫ: В качестве вспомогательных функций, реализованы прямое и обратное дискретное синусное преобразование изображения. ЗЫЗЫ: Очень интересный редактор (посмотрите видео работы) в пространстве градиентов с исходным кодом (GPU): http://graphics.cs.cmu.edu/projects/gradient-paint/ Хороший сайт с теорией и исходниками: http://www.umiacs.umd.edu/~aagrawal/ICCV2007Course/index.html

Погуглите GTSRB (соревнование german traffic sign recognition benchmark). Уже указанная тут статья Серманета и ЛеКуна - от людей, занявших в соревновании второе место (и в статье описавших дальнейшее улучшение точности распознавания). Также в инете есть и статья победителей. В общем, все лидеры использовали нейросетки (достаточно схожие между собой). Точность нейросеток оказалась лучше точности распознавания человеком. Т.е. если знак каким-то алгоритмом выделяется достаточно хорошо - то распознаваться затем он будет с почти 100% точностью (распознавалку можно будет сделать по описанным в статьях рецептам и натренировать на готовой базе).

Всем привет! Решил заняться стерео зрением. Нашел в сети такой проект на OpenCV: http://code.google.com/p/opencvstereovision/ даже удалось скомпилить его) exe во вложении. Поигрался с программой пытался калибровать шахматной доской но результат мягко говоря неочень... Раньше ни когда этим не занимался сразу возникло несколько вопросов. Какое расстояние должно быть между камерами? Как они должны быть направлены? (какой угол примерно) (ехе требует библиотеки OpenCV 1.1 и библиотеки Qt если в сети не найдете выложу ) OpenCV-Qt-StereoCalibration.rar

Vasily, я в аналогичном проекте использовал Semi-Global Block Matching алгоритм, он был единственным, который работал очень хорошо. Здесь все зависит от калибровки камер, а именно от ректификации изображений с левой и правой камер. Это когда точки левого и правого изборажения имеют одинаковые y координаты. Я очень сильно намучался с этой калибровкой. Пришлось лепить целую конструкцию, чтобы камеры не смещались во время движения, иначе вся карта глубины превращалась в мусор и приходилось заново калибровать. Если потребуется могу прислать пример кода и параметров алгоритма. http://www.cvlibs.net/software/libelas.html Еще посмотрите вот эту библиотеку, выдает очень хорошие результаты при большом расстоянии между камерами. Там же есть библиотека для одометрии и зд реконструкции, как раз что вам и нужно. А вообще купите кинект, с ним все это гораздо проще.

так должно еще лучше получиться int64 t = cv::getTickCount(); //некий процесс t = cv::getTickCount() - t; qDebug() << "\tTime elapsed: " << t*1000/cv::getTickFrequency();

Продолжая тему фильтров Габора, допилил текстурный сегментатор до рабочего состояния. GaborTextureSegmentation.rar Годится не на все случаи жизни, но в некоторых задачах вещь весьма полезная. Я использовал кластеризацию k-means, количество кластеров задается вторым параметром функции: SegmentImage(img,2,labels); Метки кластеров хранятся в матрице labels. Вот результат работы программы при количестве кластеров равном 6. Вход: Выход (метки): Если нужно обучить программу узнавать какой-нибудь определенный тип текстуры, а не просто различать их, нужно обучить какой-нибудь классификатор (SVM например), подсовывая ему в качестве обучающих пар вектор Descriptors и метку класса. Аналогично тому что сделано в этой теме http://www.compvision.ru/forum/index.php?showtopic=861 (10 пост), только вместо трехмерного цвета, будет 40 мерный Descriptors.

До этого был метод простых итераций Здесь приведен Метод Ньютона: void main(void) { // считаем u,v по x,y // здесь все очевидно double k1=2e-4; double k2=3e-4; double c1=100.0; double c2=120.0; double x= 10; double y= 20; /*double u= c1+x+k1*((x)*(x)+(y)*(y))*(x); double v= c2+y+k2*((x)*(x)+(y)*(y))*(y);*/ double u= x+k1*((x-c1)*(x-c1)+(y-c2)*(y-c2))*(x-c1); double v= y+k2*((x-c1)*(x-c1)+(y-c2)*(y-c2))*(y-c2); cout << u << endl; cout << v << endl; // Вычисление x,y по u,v // выразили x и y через известные и самих себя // и крутим цикл пока не сойдется. double x_prev=0,y_prev=0; double delta=DBL_MAX; int iter=0; for(;delta>DBL_EPSILON;) { double t1 = x - c1; double t2 = t1 * t1; double t3 = y - c2; double t4 = t3 * t3; double deltax = (k1 * (t2 + t4) * t1 + x - u) / k1 / t3 / t1 / 0.2e1; t2 = pow(x - c1, 0.2e1); t3 = y - c2; t4 = t3 * t3; double t6 = k2 * (t2 + t4); double deltay = (t6 * t3 + y - v) / (0.2e1 * k2 * t3 * t3 + t6 + 0.1e1); x=x-deltax; y=y-deltay; //cout << deltax << endl; delta=sqrt(pow((deltax),2)+pow((deltay),2)); iter++; //cout << delta << endl; } cout << x << endl; cout << y << endl; getchar(); }[/code]

Наткнулся на один занятный кусок кода для экспериментов с получением качественного изображения высокого разрешения (пример восстановленного изображения ниже) по набору изображений низкого разрешения (пример одного из исходных изображений ниже) Для сравнения, результат линейной интерполяции: Собственно код: SuperResolution.cpp Программа сама себе генерирует набор из 16 маленьких изображний, портит их шумом, а затем восстанавливает. Ссылки на сайт-источник и на документ по которому все это делается внутри исходника. В качестве задач практического применения: рассмотреть номер автомобиля, лицо, или предмет, который так не виден, но есть последовательность кадров камеры. Видео-демка:

Здравствуйте. Начав изучать OpenCV и заодно программирование столкнулся с рядом банальных (для программеров) проблем при решении задачи определения ориентации объекта в пространстве по его фотографии. Одной из основных было отсутствие материалов на русском (или неумение найти). Здесь приведено описание решения этой задачи. Просьба сильно не пинать т.к. прогер из меня аховый. Предполагается что читатель предварительно ознакомился с используемой математикой (например: Артем Конушин Геометрические свойства нескольких изображений), имеет установленную студию (у меня VS 2010) и OpenCV 2.2. Итак, краткое содержание предыдущей серии. Имеется мировая система координат (СК), имеется СК камеры. Переход между ними определяется матрицей внешнего ориентирования (иногда называют матрицей внешней калибровки) Е(4х4). Эти системы метрические, то есть координаты задаются в метрах, миллиметрах и т.д. Имеется также система координат кадра, координаты в которой задаются в пикселях. Переход из нее в СК камеры задается матрицей калибровки К(3х3). Постановка задачи: Дан объект. Известны координаты его некоторых точек (здесь и далее «особые точки») в мировой системе координат. Известны координаты изображения этих точек на снимке. Известна матрица калибровки камеры К. Надо найти. Матрицу ориентирования камеры Е в мировой СК. Она может быть представлена в виде матрицы поворота R и вектора переноса T камеры. Для начала представим данные в формате OpenCV. Подход следующий: создаем массив, и привязываем к нему создаваемую матрицу. Тогда любые изменения можно будет отслеживать в массиве или изменяя массив изменять саму матрицу (делаю так по причине незнания работы с матрицами). double Ktmp[9]={1, 0, 0, 0, 1,0, 0,0,1}; Mat K(3, 3, DataType<double>::type, Ktmp); // объявили матрицу и привязали к массиву В качестве К задана единичная диагональная матрица для упрощения проверки результатов. При такой калибровке 1 пиксель соответствует 1 единице длины (пусть будет миллиметр). Теперь зададим координаты точек объекта в мировой СК. Пусть это будет фрагмент шахматной доски, то есть координаты точек соединения квадратов. Например, 5 точек float modX[5]={0, 2, 4, 0, 2}; float modY[5]={0, 0, 0, 2, 2}; // массивы с координатами по осям float modZ[5]={0, 0, 0, 0, 0}; vector<Point3f> model_points; // массив «вектор» трехмерных точек. Сюда перепишем массивы. for (int i=0;i<5;i++) { model_points.push_back(Point3f(modX[i],modY[i],modZ[i]));// переписываем } Аналогично зададим координаты точек на изображении. Предположим наша камера не повернута относительно мировой СК, а только сдвинута вниз на 10 мм. Тогда координаты точек на картинке будут в 10 раз ближе к оптической оси камеры (которая в соответствии с заданной К находится в точке (0,0) кадра). float imX[5]={ 0, 0.2, 0.4, 0, 0.2}; float imY[5]={0, 0, 0, 0.2, 0,2}; vector<Point2f> image_points; for (int i=0;i<5;i++) { model_points.push_back(Point2f(imX[i],imY[i]));// переписываем } Теперь для функции надо указать еще и дисторсию, Но ее пока не учитываем Mat_<double> distCoeffs(1, 5); distCoeffs << 0.0, 0.0, 0., 0., 0.; // дисторсия по нулям Готовим переменные для выходнызх данных double rvectmp[3]={0.0};// сами переменные double tvectmp[3]={0.0}; Mat rvec(3, 1, DataType<double>::type, rvectmp); // привязываем матрицы (точнее вектор-столбцы) Mat tvec(3, 1, DataType<double>::type, tvectmp); Творим волшебство (Mat(image_points) видимо означает преобразование типа «вектор» к типу «Матрица» иначе компилятор ругается). solvePnP(Mat(model_points), Mat(image_points), K, distCoeffs, rvec, tvec, false); false – означает что расчеты ведутся с нуля, без начального приближения (см документацию) теперь что же делать с результатом? tvec, а вместе с ним и tvectmp теперь содержит координаты точки фокуса камеры в мировой СК. rvectmp содержит углы поворота СК камеры относительно мировой СК. Надо преобразовать в матрицу поворота R double Rtmp[9]={0.0}; Mat R(3, 3, DataType<double>::type, Rtmp); Rodrigues(rvec,R); //пересчет углов поворота в матрицу поворота Теперь Rtmp содержит коэффициенты матрицы поворота. Задача решена. Для текущих данных должно получаться: повороты по нулям, матрица поворота единичная диагональная, вектор переноса T=(0,0,-10) Текущий код не компилил, писал по памяти и по старому варианту, так что могут быть синтаксические ошибки. Но подход работал точно. Как сохранить решение и прочитать входные массивы (например из файла) уже даже чайник вроде меня должен сообразить. Спасибо за внимание. Ваши комменты.

Берем какой нибудь VideoCapture компонент, например этот: http://tscap32.sourceforge.net/ и раздракониваем кадры с него.

Конечно, помогаем! Первый шаг - отказ от Делфи. Двигаемся дальше?

Неа, в сторону ASM (Active Shape Models), AAM (Active Appearance Models), и прочего подобного... Хаар и Виола с Джонсом Вам помогут локализовать фейс (может быть примерное расположение глаз носа и рта), а распознавать нет. Нужно найти достаточно много и достаточно точно характерные точки лица, сформировать из них вектор, а затем нейросети, SVM, марковские модели, или любые другие классификаторы. Многое есть на форуме. ЗЫ: Для Ваших масштабов, я думаю подойдет пример который уже есть на форуме. http://www.compvision.ru/forum/index.php?showtopic=81 или http://www.compvision.ru/forum/index.php?showtopic=74 что больше нравится.

Думаю, что надо провести небольшой ликбез по поводу OpenCV и работы с видео. OpenCV поддерживает множество способов захвата и записи видео на всевозможных аппаратных и программных платформах. При этом не используются какие-то его внутренние технологии, а задействуются возможности платформы и установленных на ней библиотек. На Windows используются родные Video for Windows (vfw) и DirectShow. Причём vfw используется, начиная с самых ранних версий OpenCV, заканчивая самой последней. Что такое vfw? Это старая технология, корнями уходящяя в Windows 3.1, а то и позже, я тогда в детский сад ходил. Декодеры для vfw сейчас почти не пишутся, вероятность проигрывания или записи файла с помощью vfw очень низка. В OpenCV для этого есть функция cvCreateFileCapture_VFW. DirectShow использовалась в нескольких версиях OpenCV как библиотека VideoInput (см. #ifdef HAVE_VIDEOINPUT CV_CAP_DSHOW, #endif). На сегодня DirectShow является предпочтительным средством работы с видео в Windows. Декодеры и кодеры популярных видеокодеков, как правило, оформляют в виде DirectShow фильтров, плейеры используют их, всевозможные грабберы тоже. Что надо сделать, чтобы задействовать DirectShow в OpenCV? Очевидно, сконфигурировать CMake, установив HAVE_VIDEOINPUT в TRUE. Или самому в файле cvconfig.h найти и установить HAVE_VIDEOINPUT. Теперь перейдём к ffmpeg. Это кроссплатформенная библиотека, которую можно использовать как в Windows, так и в Линуксе. В моей, последней версии OpenCV 2.3.2 ffmpeg задействуется через opencv_ffmpeg.dll. Её надо кидать в папку к своему exe. И, вроде, всё. Во всяком случае при проигрывании файла *.mp4 именно её функции использовались для декодирования видео, глубже в отладчике я не заглядывал. В предыдущих версиях OpenCV мне приходилось совершать серию шаманских действий для задействования ffmpeg. Что ещё? А много чего! XINE = HAVE_XINE + cvCreateFileCapture_XINE GSTREAMER = HAVE_GSTREAMER + cvCreateCapture_GStreamer QUICKTIME = HAVE_QUICKTIME + cvCreateFileCapture_QT AVFOUNDATION = HAVE_AVFOUNDATION + cvCreateFileCapture_AVFoundation И ещё можно найти, если порыскать по исходникам. То есть различные операционные системы, сторонние библиотеки, аппаратные платформы. Всё это можно найти в документации. Надо лишь установить библиотеки и сконфигурировать CMake. И проиграется практически ЛЮБОЙ файл и захватится видео практически с ЛЮБОЙ камеры. Теперь посмотрим как оно работает в OpenCV 2.3.2 (файл cap.cpp): CV_IMPL CvCapture * cvCreateFileCapture (const char * filename) { CvCapture * result = 0; if (! result) result = cvCreateFileCapture_FFMPEG_proxy (filename); #ifdef HAVE_XINE if (! result) result = cvCreateFileCapture_XINE (filename); #endif #ifdef HAVE_GSTREAMER if (! result) result = cvCreateCapture_GStreamer (CV_CAP_GSTREAMER_FILE, filename); #endif #ifdef HAVE_QUICKTIME if (! result) result = cvCreateFileCapture_QT (filename); #endif #ifdef HAVE_AVFOUNDATION if (! result) result = cvCreateFileCapture_AVFoundation (filename); #endif if (! result) result = cvCreateFileCapture_Images (filename); return result; } То есть при проигрывании файла OpenCV пытается по очереди найти доступный декодер из тех, с которыми сконфигурирован CMake. Самая первая попытка - создание cvCreateFileCapture_FFMPEG_proxy. Если ffmpeg не находится, то на Windows вызывается функция cvCreateFileCapture_VFW (её на листинге нет, она находится внутри cvCreateFileCapture_FFMPEG_proxy). И дальше по очереди. Что делать, если файл всё таки не проигрывается? Надо воспользоваться отладчиком. Зайти внутрь функции cvCreateFileCapture и посмотреть какие декодеры вообще задействованы и какие обламываются, хотя должны были бы работать. И, соответственно, посмотреть, почему они обламываются. Это не так сложно. Например, я попытался проиграть, записанный на телефоне, файл *.mp4. ffmpeg не нашёл opencv_ffmpeg.dll, а vfw не захотел его открывать (что логично). Остальные библиотеки у меня не были задействованы. Поэтому я просто закинул opencv_ffmpeg.dll и всё заработало. Если бы потребовалось проиграть QuickTime видео, то необходимо было бы найти в документации способ подключения QuickTime и выставить в cvconfig.h HAVE_QUICKTIME (либо сделать это в CMake - так правильней).

А зачем лишние копирования памяти? Пусть каждый дочерний поток полностью копирует заголовок изображения и делает ему SetImageROI size_t num_threads = boost::thread::hardware_concurrency(); В общем случае: clock() Если можно использовать WinAPI, то число вариантов возрастает. Например: QueryPerfomanceCounter или GetThreadTimes.

У меня программа вылетала с ошибкой "divizion by zero" на строчке: if( !cvFindHomography( &_pt1, &_pt2, &_h, CV_RANSAC, 5 )) Стал искать причину, обнаружил, что функция naiveNearestNeighbor может возвращать одну и ту же точку сколько угодно раз. То есть, для примера, у нас найдено n особенностей для исходного изображения и 1 особенность для изображения с камеры, тогда эта одна точка почему-то будет считаться парой для всех n точек из шаблона. Скорее всего функция naiveNearestNeighbor не очень верно работает (я с ней особо не разбирался), возможно, необходимо добавить туда еще какой-то порог или изменить существующие параметры. Добавил в функцию findPairs вот такую заглушку: if( nearest_neighbor >= 0 && nearest_neighbor != last_neighbor) { ptpairs.push_back(i); ptpairs.push_back(nearest_neighbor); last_neighbor = nearest_neighbor; } Хотя, все равно иногда вылетает та же ошибка (может быть это проблема борландовского компилятора), так что надо туда просто повесить обработчик ошибок и забить. На всякий случай прикрепляю проект для borland builder 6, вдруг кому-то пригодится. OpenCV SURF.rar

Программа для экспериментов с преобразованием Фурье. Содержит примеры разложения изображения на действительную и мнимую части спектра, и для разложения изображения на амплитудную и фазовую части спектра, а так-же обратные преобразования для обоих типов разложения. На картинке я вырезал кольцо из амплитудной и фазовой составляющей спектра разложения. И провел обратное преобразование. Исходник: FFT.RAR