Доска почета

Вышла еще одна книжка (см. №3) и я решил для удобства собрать эти книжки вместе: 1)"Learning OpenCV. Computer Vision in C++ with the OpenCV Library. 2nd Edition" http://shop.oreilly.com/product/0636920022497.do Благородная попытка перевода ее на русский язык первого издания этой книги: http://locv.ru/wiki/%D0%93%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0 2)"OpenCV 2 Computer Vision Application Programming Cookbook" ссылка на исходный код на сайте http://www.laganiere.name/opencvCookbook/ 3)"Mastering OpenCV with Practical Computer Vision Projects" очень интересные проекты с исходниками. http://www.packtpub.com/cool-projects-with-opencv/book исходники здесь: https://github.com/MasteringOpenCV/code Еще одна книжка с opensouce исходниками: Practical OpenCV By Samarth Brahmbhatt Список книг по Opencv от opencv.org: http://opencv.org/books.html Еще бесплатная книжка: "Modern Robotics with OpenCV" здесь: http://www.sciencepublishinggroup.com/book/B-978-1-940366-12-8.aspx

Кому интересно, написал довольно шуструю вычиталку фона(пока только последовательная версия, до распараллеливания пока руки не дошли) основанную на алгоритме VIBE с оберткой для использования в OpenCV. Оригинальная статья: http://orbi.ulg.ac.be/bitstream/2268/145853/1/Barnich2011ViBe.pdf Мои исходные коды: https://github.com/BelBES/VIBE

Привет всем! Вот, попытался сделать пример вывода видео на форму. И, думаю, получилось Для того, что-бы скопировать IplImage в объект .NET типа Image, достаточно всего лишь одной строки: #include <opencv/cv.h> #include <opencv/highgui.h> ... using namespace System; using namespace System::Windows::Forms; using namespace System::Drawing::Imaging; using namespace System::Drawing; ... IplImage *iplImg; ... // Копирование IplImage в объект .NET типа Image Image ^image = gcnew Bitmap(iplImg->width, iplImg->height, iplImg->widthStep, PixelFormat::Format24bppRgb, IntPtr(iplImg->imageData)); ... или, с использованием класса Mat: cv::Mat imgMat; // Копирование cv::Mat в объект .NET типа Image Image ^img = gcnew Bitmap(imgMat.cols, imgMat.rows, imgMat.step, PixelFormat::Format24bppRgb, IntPtr(imgMat.data)); Чтобы вывести изображение на компоненту PictureBox, достаточно следующей строки в одном из методов вашей формы: this->pictureBox1->Image = image; Если вам нужен HBITMAP, то получить его можно следующим образом: Bitmap ^image = gcnew Bitmap(iplImg->width, iplImg->height, iplImg->widthStep, PixelFormat::Format24bppRgb, IntPtr(iplImg->imageData)); HBITMAP hb = (HBITMAP)image->GetHbitmap().ToPointer(); У меня вышеприведенные примеры отлично работают с OpenCV 2.2 в Visual Studio 2008/2010. К сообщению прилагаю проект простого видео плеера, написанного с помощью OpenCV 2.2 в Visual Studio 2008. Он может воспроизводить все типы видео, которые берет OpenCV и видео, захваченное с видеокамеры. Не судите строго за возможные несовершенства в коде Просто, я старался, что бы были основные функции плеера. Пояснения к проекту. Компиляция: Чтобы успешно скомпилировать проект, достаточно в опциях Visual Studio установить пути на OpenCV в следующем виде: %OPENCV_HOME%\include и %OPENCV_HOME%\lib Например, так: C:\OpenCV2.2\include и C:\OpenCV2.2\lib Другое: При создании проекта использовались следующие опции и установки. .NET Framework 3.5. General/Common Language Runtime Support: Common Language Runtime Support (/clr) C/C++/Advanced/Disable Specific Warnings: 4996;4793 Linker/Input/Additional Dependencies: opencv_core220d.lib opencv_highgui220d.lib opencv_imgproc220d.lib opencv_objdetect220d.lib Для версии Release: без "d" после 220. В компоненте PictureBox свойство SizeMode имеет значение Zoom, что позволяет сохранить оригинальное соотношение сторон кадра. Для визуализации кадров используется Tick таймера. При двойном щелчке по области отображения, происходит переход в полноэкранный режим и обратно. Надеюсь, пример кому-нибудь пригодится VideoOnForm.zip

Здравствуйте, решил заняться переводом книги "Learning OpenCV", перевёл уже 37 глав. Присоединяйтесь будем переводить вместе! - http://locv.ru

проект здесь: FaceDetect.rar дополнительные классификаторы (нос, глаза, рот, тело):HaarClassifiers.rar здесь еще куча каскадов: Каскады хаара

Самокодный вариант AdaBoost. (Виолы и Джонса там нет , только AdaBoost ) Надеюсь оформлю статью по нему, но и в листинге старался разместить побольше комментариев. AdaBoost.cpp И ссылка на мою презентацию по детекту лиц там тоже есть немного пояснений по теме: http://www.compvision.ru/forum/index.php?app=core&module=attach&section=attach&attach_id=369

Наконец-то дошли руки Оптимизации не делал, просто проверил идею. Пример кода максимизирует расстояние между средним цветом внутри и снаружи прямоугольной области. Максимизирует он это расстояние при помощи подбора параметров этого прямоугольника (методом градиентного спуска). Вот что я имел ввиду, когда говорил непонятные вещи Результат работы программы (изображение может быть и цветным): #include "opencv2/opencv.hpp" #include <vector> using namespace std; using namespace cv; //---------------------------------------------------------- // Это и есть вычисление расстояния между средними цветами //---------------------------------------------------------- double getLikelihood(Mat& img,cv::RotatedRect& rr) { double likelihood=0; Mat mask=Mat::zeros(img.size(),CV_8UC1); // rotated rectangle Point2f rect_points[4]; rr.points( rect_points ); vector<cv::Point> pts(4); for(int i=0;i<4;++i) { pts[i]=rect_points[i]; } cv::fillConvexPoly(mask,pts,Scalar::all(255)); imshow("mask",255-mask); Scalar cc1,cc2; cc1=cv::mean(img,mask); cc2=cv::mean(img,255-mask); likelihood=norm(cc1,cc2,cv::NORM_L2); return likelihood; } //---------------------------------------------------------- // Градиент, чтобы знать куда менять параметры //---------------------------------------------------------- void getLikelihoodGradient(Mat& img,cv::RotatedRect& rr,cv::RotatedRect& drr) { cv::RotatedRect rrdx=rr; rrdx.center.x+=1; cv::RotatedRect rrdy=rr; rrdy.center.y+=1; cv::RotatedRect rrdw=rr; rrdw.size.width+=1; cv::RotatedRect rrdh=rr; rrdh.size.height+=1; cv::RotatedRect rrdang=rr; rrdang.angle+=1; cv::RotatedRect rrdxn=rr; rrdxn.center.x-=1; cv::RotatedRect rrdyn=rr; rrdyn.center.y-=1; cv::RotatedRect rrdwn=rr; rrdwn.size.width-=1; cv::RotatedRect rrdhn=rr; rrdhn.size.height-=1; cv::RotatedRect rrdangn=rr; rrdangn.angle-=1; float l0=getLikelihood(img,rr); cout << l0 << endl; float dlx=getLikelihood(img,rrdx)-getLikelihood(img,rrdxn); float dly=getLikelihood(img,rrdy)-getLikelihood(img,rrdyn); float dlw=getLikelihood(img,rrdw)-getLikelihood(img,rrdwn); float dlh=getLikelihood(img,rrdh)-getLikelihood(img,rrdhn); float dlang=getLikelihood(img,rrdang)-getLikelihood(img,rrdangn); float scale=sqrt(dlx*dlx+dly*dly+dlw*dlw+dlh*dlh+dlang*dlang); dlx/=scale; dly/=scale; dlw/=scale; dlh/=scale; dlang/=scale; drr.center.x=dlx; drr.center.y=dly; drr.size.width=dlw; drr.size.height=dlh; drr.angle=dlang; } //---------------------------------------------------------- // Генерируем тестовое зашумленное изображение //---------------------------------------------------------- void generateTestImage(Mat& img) { img=Mat(512,512,CV_8UC3); cv::RotatedRect rr(cv::Point2f(200,300),Size(140,180),67); img=Scalar::all(0); // rotated rectangle Point2f rect_points[4]; rr.points( rect_points ); vector<cv::Point> pts(4); for(int i=0;i<4;++i) { pts[i]=rect_points[i]; } cv::fillConvexPoly(img,pts,Scalar(255,255,255)); for(int i=0;i<100000;++i) { int x=rand()%512; int y=rand()%512; img.at<Vec3b>(y,x)=Vec3b(255,255,255); } for(int i=0;i<105000;++i) { int x=rand()%512; int y=rand()%512; img.at<Vec3b>(y,x)=Vec3b(0,0,0); } } //---------------------------------------------------------- // //---------------------------------------------------------- int main(int argc, char* argv[]) { Mat img,img_cpy; generateTestImage(img); imshow("testimg",img); cv::waitKey(0); cv::RotatedRect rr(cv::Point2f((float)img.cols/2.0,(float)img.rows/2.0),Size(img.cols-100,img.rows-100),0); cv::RotatedRect drr; while(1) { img_cpy=img.clone(); getLikelihoodGradient(img,rr,drr); // Меняем параметры в сторону увеличения расстояния между средними цветами rr.center+=drr.center; rr.size+=drr.size; rr.angle+=drr.angle; // rotated rectangle Point2f rect_points[4]; rr.points( rect_points ); for( int j = 0; j < 4; j++ ) { line( img_cpy, rect_points[j], rect_points[(j+1)%4], Scalar(0,255,0), 2, CV_AA ); } imshow("img_cpy",img_cpy); waitKey(10); } cv::destroyAllWindows(); return 0; }

2 Nuzhny Результаты сравнения по скорости собирал 4-2 года назад (потом стало лень) на этой странице (смотреть от где-то от середины и все постскрипты). Сравнивал с пятью чужими программами (вернее, с опубликованными в печати или в интернете временами расчётов - исходник-то был доступен всего для одной из этих 5 программ). Сравнивал ориентировочно - с учётом прикидок о разнице в быстродействии моего и других процессоров. Исходников не открываю, демку где-то в те годы на сайте предложил сделать-дать только тому, кто придёт с тяжёлым проектом и гарантирует отдачу проекта в мои руки после того, как демка всё заявленное (как скорость, так и просто надёжность-работоспособность) продемонстрирует. По потреблению памяти - у меня на копейки больше, т.к. все данные обрабатываемого примера (именно одного текущего примера) и внутренние сигналы/веса сети оптимально раскладываются с учётом выравнивания блоков данных на границу параграфа. Ну и в коде 1.5 ноу-хау - одно чисто моё (на удивление - почему-то нигде и никем ранее не опубликованное) о самом шустром варианте распараллеливания обучения нейросети (вообще без синхронизаций потоков на уровне операционной системы), второе - об аппроксимированном вычислении нелинейности нейрона (которое опубликовано, но почему-то никто об этом не знает и на практике не применяет). И сейчас реализованы пара канонических вариантов свёрточных сеток (ЛеКуновский и Симардовский), а также другие её клоны (от Эндрю Нг, Свена Бенке) - вернее, из разных слоёв-кубиков можно собирать свой/новый вариант. Также у нейронов можно ставить полиномиальные сумматоры - не на всех слоях свёрточной сети это помогает/полезно, но если помогает - то точность растёт. Я так даже самого Хинтона опроверг - он в прошлом году говорил, что на задаче MNIST на обычном персептроне никто никогда не опустился ниже 1.6% ошибок, а я таки постановкой полиномиальных сумматоров только на вых.слой получил точность лучше (см последний абзац тут) (хотя сам Хинтон в 1986г в двухтомнике PDP описывал формулы обратного распространения ошибки в том числе и для полиномиальных сумматоров - но вот почему-то сам не пользуется сейчас сигма-пи нейронами в своих сетях, может быть, зря).

покопавшись в исходниках можно найти для себя несколько заготовок, таких как построение 3d модели лица, его трекинг и даже ( на начальном этапе ) вычисление значения фильтров габора в ключевых точках этой модели. может кому пригодиться... трекинг работает весьма быстро для одного человека, но я по быстрому переделал под свои цели для двоих. в основе детектирования ключевых точек - Flandmark_detector, трекинга - headtracker-master. (лиценция которых GNU GPL, для тех кого это вообще интересует). должно даже собраться и заработать (под ubuntu писалось) Написано на С++, есть куски на С. для работы нужна opencv2.4.4 lndmark.tar.gz

Соорудил быстрый и маленький кусочно-аффинный варпер (перенос фрагмента изображения из одной сетки треугольников в другую): WarpAffine.rar

Слайды одной из моих лекций. Детектор лиц на основе метода Виолы-Джонса.rar

Так случилось, что я активно использую Delphi в своей работе (программирование по работе, собственные открытые и закрытые проекты) и вот мне понадобилось написать программу, использующую открытую библиотеку компьютерного зрения OpenCV. Что же делать, ведь официально OpenCV использовать в Delphi невозможно, а перебираться на C ради одной программы слишком долго. Но нет ничего невозможного… Немного поискав в интернете, я нашел несколько проектов по использованию OpenCV в Delphi. Первый, второй, третий и наиболее свежий и удачный — четвертый, который я и взял за основу. Проект на github мне показался интересным, реализовано много функций OpenCV, есть много примеров на Delphi, но проект заброшен автором и пришлось взяться за свой. Все текущие наработки я выложил на code.google.com/p/opencv-delphi-new/ В настоящий момент сделано: 1. Поддержка RAD Studio XE3. 2. Добавлены новые функции: cvFlip, cvClearMemStorage, cvCreateChildMemStorage, cvRectangle, cvRetrieveFrame, cvIntegral, cvGetPerspectiveTransform, cvWarpPerspective, cvCreateMat, cv2DRotationMatrix, cvWarpAffine, cvFindContours, cvHaarDetectObjects. 3. Добавлено 6 новых примеров: FaceDetect — Пример детектирования лица в видеопотоке с использованием преобразования Хафа. FindContours — Нахождение контуров изображения. Integral — Интегральное изображение. WarpAffine — Трансформация изображения — аффинные преобразования (Поворот изображения на произвольный угол). WrapPrespective — Трансформация изображения — гомография (Перспективная трансформация). MatchShapes — Поиск объекта на изображении по шаблону (Сравнение объектов по моментам их контуров). В добавленных примерах я постарался подробно расписать все манипуляции для достяжения нужного результата. Если кому-то будет интересна тема использования OpenCV в Delphi, то пишите мне на email или оставляйте комментарии. Если тематика использования OpenCV в принципе интересна, то могу написать несколько статей, только напишите, какое направление использования OpenCV Вас интересует.

Полезный сайт по теории: http://courses.graphicon.ru/ Материал по ASM и AAM: http://courses.graphicon.ru/files/courses/smisa/2008/lectures/lecture10.pdf

И еще проект ( активные контуры (ASM) переделанный (на чистый OpenCV 2.X) мной проект одного китайца, который переделал его из STASM ): В архиве конвертер моделей STASM в файл с матрицами OpenCV, и солюшн для студии с двумя проектами: библиотекой и демкой. Надеюсь на дальнейшее развитие проекта. ASMCompvisionEdition.rar

Где-то есть деление на ноль. Смотри свои данные.

Привет. В общем вот выкладываю перевод с БИЛДЕРА на ВИЖУАЛ (кстати недавно совсем переводил), "Создание APIшного битмапа из интеловского RGB изображения" присутствует. Смотри, разбирайся. Если, что не пойдет пиши - разберемся. [Прикрепленный файл был потерян при откате форума]

Здравствуйте, RinOS. Рекомендую все-таки использовать cvStereoRectify() т.к. результат его работы более точен, а cvStereoRectifyUncalibrated() лучше использовать когда существуют значительные непараллельности в оптических осях камер, насколько я понимаю. Критерием правильности калибровки стерео может служить правильное число в векторе T (который означает расстояние между оптическими осями по оси x, y и z) камер. У меня, при расстоянии между камерами 12 см, и 29 калибровочных пар изображений 640х480 в оттенках серого (изображения я сохраняю предварительно в bmp, чтобы каждый раз не мучаться с их показом камерам) величина составляет: цитирую xml содержимое <data>-1.1886876922892217e-001 -7.8263643755714435e-004 -4.6620003758508491e-003</data>, (все величины в метрах - первая величина - это сдвиг по оси X, то есть расстояние между камерами). То есть 1.6 %, что может быть точнее измерянного мною расстояния. Чем шире расстояние между камерами, тем лучше будет восприятие на более дальних расстояниях, и тем хуже будет поле зрения камеры, при обзоре близких предметов. Для того чтобы величина вектора T содержала метрические величины, необходимо, чтобы вы правильно (в метрических единицах) указали размер клеточки при калибровке. В книге learning OpenCV, в примере стерео (стр 445), есть константа squareSize, у меня в коде примерно так (размер клетки 3 см): float chesbSquareSize = 0.030f; // 30 mm is a Square size for (size_t pair_idx = 0; pair_idx < boards_count; pair_idx++) { for (size_t i=pair_idx*board_n,j = 0;j < board_n; ++i,++j) { // Chessboard points CV_MAT_ELEM(*image_pointsL,float,i,0) = vCalibData[IMG_LEFT][pair_idx].vPoints[j].x; CV_MAT_ELEM(*image_pointsL,float,i,1) = vCalibData[IMG_LEFT][pair_idx].vPoints[j].y; CV_MAT_ELEM(*image_pointsR,float,i,0) = vCalibData[IMG_RIGHT][pair_idx].vPoints[j].x; CV_MAT_ELEM(*image_pointsR,float,i,1) = vCalibData[IMG_RIGHT][pair_idx].vPoints[j].y; // Linear space remapping points CV_MAT_ELEM(*object_points,float,i,0) = (float)(j/w) * chesbSquareSize; CV_MAT_ELEM(*object_points,float,i,1) = (float)(j%w) * chesbSquareSize; CV_MAT_ELEM(*object_points,float,i,2) = 0; }; CV_MAT_ELEM(*point_counts,UINT,pair_idx,0) = (UINT)board_n; }; Откалиброванные матрицы удобно сохранять в xml. Для того, чтобы калибровка была корректной, рекомендуют использовать "шахматную доску" с не одинаковым кол-вом клеток по ширине и высоте (я заметил вы такую и использовали). Для улучшения качества BlockMatcher'а, попробуйте BMState->uniquenessRatio = 0; Привожу мои рабочие параметры: BMState->preFilterSize = 17; BMState->preFilterCap = 31; BMState->SADWindowSize = 11; BMState->minDisparity = 13; BMState->numberOfDisparities = 256; BMState->textureThreshold = 35; BMState->uniquenessRatio = 0; Искомую матрицу репроекции Q вы можете заполнить вручную по формуле Q= стр 435 Learn OpenCV, используя ранее вычисленные матрицы: CameraMatrix и T, например.. но мне кажется это сложный путь, и ... некоторые величины (f, n) придется выдумывать. Вот набросал матрицу, которую вы можете использовать, подставив лишь расстояние между объективами камер: Но я не уверен, что она даст для вас точный и качественный результат. f можно уменьшить вовсе до 5 метров. Если вы вызовете cvStereoRectify() то наверняка ничего не потеряете, по книге инных вариантов не приводится. Матрицу Q нельзя извлечь из cvStereoRectifyUncalibrated() поскольку (стр 431): То есть, теоретически, если вы при калибровке, задавали реальные метрические координаты (с помощью размера) ваших клеточек, то на выходе ReprojectTo3D проекции получите реальные размеры и расстояния до объекта в метрах. Насколько я понимаю, disparityImage должен быть Float(существует быстрый вариант с Int). Подавать нужно disparityImage не нормализованный. Репроекцией еще сам не занимался, поэтому грабли раскрыть в этой теме пока не могу (может на этих выходных, тогда я бы отписался здесь). Прикрепляю свою шахматную доску (visio), может пригодится.

Ищи контуры и закрашивай те, площадь которых меньше некоторого порога

Гомография же задаёт в общем случае перспективное преобразование. В этом случае, между плоскостями двух снимков есть 2 угла: поворота и наклона. И они, кажется, связаны друг с другом. Если мы имеем дело с аффинным преобразованием, то да - у нас есть один угол поворота и всё.

Вы хотите по 2 снимкам с такой малой базой получить премлимую 3-d карту местности? Ничего не получится, возьмите какой-нибудь софт типа Agisoft или 3DF Zephyr Free (он бесплатен) и поэксперементируте там. Кстати 3DF Zephyr Free может делать калибровку по набору произвольных фоток (штук 30) и по опыту лучше чем с шахматной доской. Если просто нужно измерять расстояния можно использовать Aruco с 4 точками, которое выдаст координаты и направление камер. Еще Aruco нельзя в лоб снимать, точно резко падает, нужно чтоб квадрат на снимках был типа трапеции

Наткнулся на большой склад интересных алгоритмов с кодом: https://paperswithcode.com/area/computer-vision

http://www.pvsm.ru/net/274725 - моя публикация с открытым исходным кодом на C#

Добрый день. Наткнулся на интересный тренажер для БПЛА. Кто-то уже пробовал? https://github.com/Microsoft/AirSim По поводу генерирования датасета говориться следующее: С виду этот LogViewer не имеет ничего полезного для автоматического аннотирования сцены. И вообще не понятно, возможно ли вытащить аннотированые изображения из тренажера.

Нарушил многолетнее молчание и зафигачил новый пост на Хабру про последние достижения науки и техники в области Feature Matching'а: https://habrahabr.ru/post/323688/ Т.ч. кому интересна тема, вэлкам) Критика, пожелания, замечания приветствуются!

Нашёл я функцию перевода HBitmap в IplImage. Решил переписать для cvMat. При запуске вылетает умирает процесс, чей DC я использовал void hBitmap2Mat(HBITMAP hBmp, cv::Mat &img) { BITMAP bmp; GetObject(hBmp,sizeof(BITMAP),&bmp); int nChannels = bmp.bmBitsPixel == 1 ? 1 : bmp.bmBitsPixel/8; int depth = bmp.bmBitsPixel == 1 ? IPL_DEPTH_1U : IPL_DEPTH_8U; cv::Mat imgT(bmp.bmHeight, bmp.bmWidth, CV_MAKETYPE(depth, nChannels)); memcpy(imgT.data,(char*)(bmp.bmBits),bmp.bmHeight*bmp.bmWidth*nChannels); img=imgT; } ... RECT rect; GetClientRect(hWnd, &rect); int cx, cy; cx=rect.right-rect.left; cy=rect.bottom-rect.top; HBITMAP hBmp = CreateCompatibleBitmap(hDC, cx, cy); SelectObject(myDC, hBmp); BitBlt(myDC, 0, 0, cx, cy, hDC, rect.left, rect.top, SRCCOPY); cv::Mat img; hBitmap2Mat(hBmp, img); cv::imshow("1", img); cv::waitKey(0); Вот. Спустя день... Я написал эту штуку) Думаю, пригодится кому-нибудь: void Bmp2Mat(HDC hDC, HBITMAP hBmp, Mat &img) { BYTE *bmpData = new BYTE[3*img.cols*img.rows]; BITMAPINFOHEADER bmi={0}; bmi.biSize = sizeof(BITMAPINFOHEADER); bmi.biPlanes = 1; bmi.biBitCount = 24; bmi.biWidth = img.cols; bmi.biHeight = -img.rows; bmi.biCompression = BI_RGB; GetDIBits(hDC, hBmp, 0, img.rows, bmpData, (BITMAPINFO*)&bmi, DIB_RGB_COLORS); memcpy(img.data, bmpData, 3*img.cols*img.rows); delete [] bmpData; }

Хороший алгоритм. Если его правильно приготовить, то быстрый и очень точный. Надо добавить, что Szeliski только описал метод, его придумали ещё до него. А называется он... оптический поток Лукаса-Канаде! Да, именно так. Только применяется он не в привычном для всех виде для набора точек (или для одной точки), а к изображениям целиком. Правильный первоисточник называется Lucas-Kanade 20 Years On: A Unifying Framework. P.S. Кстати, охрененный метод для стабилизации видео, работает даже там, где ключевых точек нет и/или они смазаны motion blur. И быстрее, чем на основе fft, т.к. достаточная точность достигается уже на верхних уровнях пирамиды, не обязательно спускаться на уровень оригинального изображения.

Спасибо! Именно это помогло! Кому нужно - в репозитории имеется около 3к идеально размеченных автоматом данных (больший объем пока не делал) А что с настройками обучения? Оставить все по дефолту? 40к итераций хватит? если у меня будет 10-30к изображений для тренировки? Как выявить наилучший результат при тренировке? https://github.com/Maxfashko/CamVid

Защитил диплом, забыл приложить финальный код, может кому пригодится. Большое спасибо Smorodov и всем отписавшимся. Считаются все необходимые параметры(коэффициент смещения колеса, делительная окружность, модуль колеса). При необходимости реализации масштаба, нужно домножить все параметры на коэффициент масштаба. #include "opencv2/opencv.hpp" #include <iostream> #include <vector> using namespace cv; using namespace std; int main(int ac, char** av) { vector<vector<Point> > contours; vector<Vec4i> hierarchy; vector<RotatedRect> minEllipse; vector<RotatedRect> minRect; string fname; float alpha = 20; if (ac > 1) { fname = av[1]; alpha = ::atof(av[2]); } else { cout << "Need filename!" << endl; cin.get(); return 0; } Mat frame = imread(fname); Mat drawing = frame.clone(); frame = 266 - frame; namedWindow("result"); cvtColor(frame, frame, cv::COLOR_BGR2GRAY); threshold(frame, frame, 1, 255, THRESH_BINARY); Mat thr = frame.clone(); /// Find contours findContours(frame, contours, hierarchy, cv::RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE, Point(0, 0)); vector<Point2f>center(contours.size()); vector<float>radius(contours.size()); vector<vector<Point> > contours_poly(contours.size()); for (int i = 0; i < contours.size(); i++) { approxPolyDP(Mat(contours[i]), contours_poly[i], 5, true); minEnclosingCircle((Mat)contours_poly[i], center[i], radius[i]); minRect.push_back(minAreaRect(Mat(contours[i]))); if (contours[i].size() > 5) { minEllipse.push_back(fitEllipse(Mat(contours[i]))); } } RNG rng(12345); for (int i = 0; i< contours.size(); i++) { Scalar color = Scalar(255, 0, 0); // contour drawContours(drawing, contours, i, color, 1, 8, vector<Vec4i>(), 0, Point()); // ellipse ellipse(drawing, minEllipse[i], color, 0, 8); // rotated rectangle Point2f rect_points[4]; minRect[i].points(rect_points); for (int j = 0; j < 4; j++) line(drawing, rect_points[j], rect_points[(j + 1) % 4], color, 1, 8); // окружность circle(drawing, center[i], cvRound(radius[i]), color, 1, 8, 0); // ÷ентр окружности line(drawing, cv::Point(center[i].x, 0), cv::Point(center[i].x, drawing.rows), Scalar(0, 0, 255)); line(drawing, cv::Point(0, center[i].y), cv::Point(drawing.cols, center[i].y), Scalar(0, 0, 255)); } // засемплим точки с окружности. float step = 0.001; float x = center[0].x; float y = center[0].y; float r = radius[0] * 0.9; Mat unrolled = Mat::zeros(100, CV_PI*2.0 / step, CV_8UC1); int i = 0; int tooth_thick = 0; vector<int> teeth; bool tooth = false; float normals[2][2]; for (float ang = 0; ang<CV_PI * 2; ang += step) { float xs = x + r*cos(ang); float ys = y + r*sin(ang); uchar c = thr.at<uchar>(ys, xs); drawing.at<Vec3b>(ys, xs) = Vec3b(0, 0, 255); if (c>128) { if (teeth.size() == 1 && tooth == false) { normals[0][0] = xs; normals[0][1] = ys; } tooth = true; tooth_thick++; line(unrolled, cv::Point(i, 0), cv::Point(i, unrolled.rows), Scalar::all(255),5); } else { if (tooth) { teeth.push_back(tooth_thick); tooth_thick = 0; //count++; if (teeth.size() == 1) { normals[1][0] = xs; normals[1][1] = ys; } } tooth = false; } ++i; } //do normals to surface of teeth //line(drawing, Point(normals[0][0], normals[0][1]), Point(800 * cos(alpha * 180 / CV_PI), normals[0][1] * sin(alpha * 180 / CV_PI)), Scalar(0, 255, 0), 1); //line(drawing, Point(normals[1][0], normals[1][1]), Point(800 * cos(alpha * 180 / CV_PI), normals[1][1] * sin(alpha * 180 / CV_PI)), Scalar(0, 255, 0), 1); float m = minRect[0].size.width/(teeth.size()+2);//модуль float d = m*teeth.size();//delitelnaya okrujnost float Db = d*::cos(alpha); float sb = (CV_PI*m) / 2; //tolshina po delitelnoy okrujnosti alpha = alpha * CV_PI / 180;//for invol (convert deg to radian) float X = ((normals[0][1] - normals[1][1]) - (Db*(sb / d + (tan(alpha)-alpha)))) / (2 * m*sin(alpha)); stringstream str; str << "d= " + to_string(minRect[0].size.width) << " "; str << "m= " + to_string(m) << " "; str << "x= " + to_string(X) << " "; //imshow("thr", thr); //imshow("unrolled", unrolled); Mat pic = cv::Mat::zeros(250, 250, CV_8UC3); putText(pic,str.str(), cv::Point(5, 10), CV_FONT_NORMAL, 0.3, Scalar::all(255), 1, 7, false); imshow("Результаты", pic); imshow("result", drawing); waitKey(0); destroyAllWindows(); return 0; }

Взял класс отсюда и приделал к OpenCV. http://ivrg.epfl.ch/supplementary_material/RK_SLICSuperpixels/index.html Дальше хочу перевести его на opencv-шные функции, но для экспериментов и так годится. (неплохо только бы еще порядок байтов при перегоне в ARGB перепроверить) Документ с описанием: SLIC_Superpixels_TR_2.pdf Солюшн для 2010-й студии: OpenCV_HW.rar Результат работы программы: Может работать и с видео (я пока не пробовал):

Ну чтобы не писать с нуля, вот начальная версия, делал давно, прилеплялку баннера так и не закончил: исходник: TILT.cpp Если что то улучшите, будет здорово. Юзаге: щелкаем левой кнопкой в одном углу начальной рамки затем в другом (ничего не отображается) затем жмем кнопку и ждем.

Обзор методов обнаружения людей в кадре (некоторые исходники тоже присутствуют): http://rodrigob.github.io/

На цветном снимке паспорта "общий текст" идет с явным оттенком красного, а заполняется черным. Можно по цвету еще отфильтровать.

Покажу на первом примере - libavcodec. Набираешь в консоли: apt-cache search libavcodec В результатах находишь необходимое: libavcodec-dev - Development files for libavcodec Его и ставим: sudo apt-get install libavcodec-dev Установилось, снова запускаем ./configure Пишет, что всё нормально? Отлично! Переходим к следующему пункту. Возможно, что все зависимости можно и не ставить, просто не будет некоторых функций, я не проверял. Когда ты будешь распространять свою программу в бинарном виде в виде пакета, тебе надо будет указать в зависимостях всё необходимое. apt-get это доставит. Если не пакетом будешь распространять, то напиши установочный скрипт, в котором всё прописано и само поставится. В общем, действуй по аналогии с другим софтом.

Еще один замысловатый способ устранения размытия (нужно знать чем размывали, метод не слепой). Исходное размытое изображение (размываем там-же в программе): Результат: Исходник: stochastic_deconvolution_opencv.zip Теория: StochasticDeconvolution-Gregson2013.pdf Сайт авторов: http://www.cs.ubc.ca/labs/imager/tr/2013/StochasticDeconvolution/

Попробуй Intraface прикрутить: там 49 особых точек, остальные я думаю можно интерполяцией расставить. IntraFace предалагает либу для некоммерческого использования, есть демка, идет под винду и линукс, зависит от OpenCV. Когда-то на меня сильно произвел впечатление ролик . Но ничего подобного я сделать не мог и инструментная база была похуже.

Ну вот тут вроде решили эту проблему используя boost'овые треды.

Еще один курс лекций по ИИ: Содержание курса: Linear prediction. Maximum likelihood and linear prediction. Ridge, nonlinear regression with basis functions and Cross-validation. Ridge, nonlinear regression with basis functions and Cross-validation (continued). Bayesian learning (part I). Bayesian learning (part II). Gaussian processes for nonlinear regression (part I). Gaussian processes for nonlinear regression (part II). Python demo code for GP regression. Bayesian optimization, Thompson sampling and bandits. Decision trees. Random forests. Random forests applications: Object detection and Kinect. Unconstrained optimization: Gradient descent and Newton's method. Logistic regression, IRLS and importance sampling. Neural networks. Deep learning with autoencoders. Deep learning with autoencoders II. Importance sampling and MCMC. Importance sampling and MCMC. Importance sampling and MCMC. Pdf-ки со слайдами здесь: http://www.cs.ubc.ca/~nando/540-2013/lectures.html Видеолекции здесь: Еще пара лекций по DeepLearning:

Всем привет! Решил заняться стерео зрением. Нашел в сети такой проект на OpenCV: http://code.google.com/p/opencvstereovision/ даже удалось скомпилить его) exe во вложении. Поигрался с программой пытался калибровать шахматной доской но результат мягко говоря неочень... Раньше ни когда этим не занимался сразу возникло несколько вопросов. Какое расстояние должно быть между камерами? Как они должны быть направлены? (какой угол примерно) (ехе требует библиотеки OpenCV 1.1 и библиотеки Qt если в сети не найдете выложу ) OpenCV-Qt-StereoCalibration.rar

Vasily, я в аналогичном проекте использовал Semi-Global Block Matching алгоритм, он был единственным, который работал очень хорошо. Здесь все зависит от калибровки камер, а именно от ректификации изображений с левой и правой камер. Это когда точки левого и правого изборажения имеют одинаковые y координаты. Я очень сильно намучался с этой калибровкой. Пришлось лепить целую конструкцию, чтобы камеры не смещались во время движения, иначе вся карта глубины превращалась в мусор и приходилось заново калибровать. Если потребуется могу прислать пример кода и параметров алгоритма. http://www.cvlibs.net/software/libelas.html Еще посмотрите вот эту библиотеку, выдает очень хорошие результаты при большом расстоянии между камерами. Там же есть библиотека для одометрии и зд реконструкции, как раз что вам и нужно. А вообще купите кинект, с ним все это гораздо проще.

Никогда не пользовался С-интерфейсом, но приведу часть кода на С++ из моего проекта pcl::PointCloud<pcl::PointXYZRGB>::Ptr BaseStereoMatcher::pointCloud(const cv::Mat &disp, const cv::Mat &image, const CalibrationParams &calib_params) { Q_ASSERT((image.rows != 0) && (image.cols != 0) && (image.rows == disp.rows) && (image.cols == disp.cols) && (image.type() == CV_8UC3)); pcl::PointCloud<pcl::PointXYZRGB>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZRGB>); cv::Matx44f Q = calib_params.DisparityToDepthMatrix; cv::Matx41f reproj_point; for (int v = 0; v < disp.rows; v++) { for (int u = 0; u < disp.cols; u++) { float d; if (disp.type() == CV_16S) d = disp.at<short>(v, u) / 16.0f; if (disp.type() == CV_32F) d = disp.at<float>(v, u); if (d <= FLT_EPSILON) { // point.x = point.y = point.z = bad_point; continue; } pcl::PointXYZRGB point; cv::Matx41f uv_point(u,v,d,1); //диспарантность в однородных координатах reproj_point = Q * uv_point; //так осуществляется проекция в однородные 3д координаты float w = reproj_point.val[3]; point.x = -reproj_point.val[0] / w; point.y = -reproj_point.val[1] / w; point.z = reproj_point.val[2] / w; // point - готовая точка в 3д cv::Vec3b pix = image.at<cv::Vec3b>(v, u); uint8_t r = pix[2], g = pix[1], b = pix[0]; uint32_t rgb = (static_cast<uint32_t>(r) << 16 | static_cast<uint32_t>(g) << 8 | static_cast<uint32_t>(); point.rgb = *reinterpret_cast<float*>(&rgb); cloud->push_back(point); } } return cloud; } [/code] Тоже самое выполняется в функции ReprojectTo3D (откомментированные строчки), так что можешь врунчую заполнить матрицу с 3д координатами. И, кстати, в матрице диспарантности все ее величины умножены на 16, поэтому прежде чем ее использовать, нужно значение диспарантности поделить на 16, выше в коде ты можешь это увидеть.

До этого был метод простых итераций Здесь приведен Метод Ньютона: void main(void) { // считаем u,v по x,y // здесь все очевидно double k1=2e-4; double k2=3e-4; double c1=100.0; double c2=120.0; double x= 10; double y= 20; /*double u= c1+x+k1*((x)*(x)+(y)*(y))*(x); double v= c2+y+k2*((x)*(x)+(y)*(y))*(y);*/ double u= x+k1*((x-c1)*(x-c1)+(y-c2)*(y-c2))*(x-c1); double v= y+k2*((x-c1)*(x-c1)+(y-c2)*(y-c2))*(y-c2); cout << u << endl; cout << v << endl; // Вычисление x,y по u,v // выразили x и y через известные и самих себя // и крутим цикл пока не сойдется. double x_prev=0,y_prev=0; double delta=DBL_MAX; int iter=0; for(;delta>DBL_EPSILON;) { double t1 = x - c1; double t2 = t1 * t1; double t3 = y - c2; double t4 = t3 * t3; double deltax = (k1 * (t2 + t4) * t1 + x - u) / k1 / t3 / t1 / 0.2e1; t2 = pow(x - c1, 0.2e1); t3 = y - c2; t4 = t3 * t3; double t6 = k2 * (t2 + t4); double deltay = (t6 * t3 + y - v) / (0.2e1 * k2 * t3 * t3 + t6 + 0.1e1); x=x-deltax; y=y-deltay; //cout << deltax << endl; delta=sqrt(pow((deltax),2)+pow((deltay),2)); iter++; //cout << delta << endl; } cout << x << endl; cout << y << endl; getchar(); }[/code]

Сегментация изображения при помощи PCNN (Pulse-Coupled Neural Network) (на основе результатов исследования работы глаза морских свинок). Снимок результатов работы программы (при различных параметрах). закомментировал dilate, получилось что-то комиксоподобное ... double Beta=0.8; double alpha_theta=-2; double alpha_F=-0.9; double alpha_L=-0.1; double V_F=1; double V_L=1; ... Mat rect_12 = getStructuringElement(CV_SHAPE_RECT, Size(3,3) , Point(1,1)); erode(Y, Y, rect_12,Point(),1); //Mat rect_6 = getStructuringElement(CV_SHAPE_RECT, Size(3,3) , Point(1,1)); //dilate(Y,Y,rect_6,Point(),1);[/code] Если поэкспериментировать с параметрами, можно получать различные варианты сегментации. При реализации руководствовался книжкой: Lindblad J.M. Kinser "Image Processing Using Pulse-Coupled Neural Networks". Там можно прочитать теорию. Исходники: PCNN.RAR

Здравствуйте. Начав изучать OpenCV и заодно программирование столкнулся с рядом банальных (для программеров) проблем при решении задачи определения ориентации объекта в пространстве по его фотографии. Одной из основных было отсутствие материалов на русском (или неумение найти). Здесь приведено описание решения этой задачи. Просьба сильно не пинать т.к. прогер из меня аховый. Предполагается что читатель предварительно ознакомился с используемой математикой (например: Артем Конушин Геометрические свойства нескольких изображений), имеет установленную студию (у меня VS 2010) и OpenCV 2.2. Итак, краткое содержание предыдущей серии. Имеется мировая система координат (СК), имеется СК камеры. Переход между ними определяется матрицей внешнего ориентирования (иногда называют матрицей внешней калибровки) Е(4х4). Эти системы метрические, то есть координаты задаются в метрах, миллиметрах и т.д. Имеется также система координат кадра, координаты в которой задаются в пикселях. Переход из нее в СК камеры задается матрицей калибровки К(3х3). Постановка задачи: Дан объект. Известны координаты его некоторых точек (здесь и далее «особые точки») в мировой системе координат. Известны координаты изображения этих точек на снимке. Известна матрица калибровки камеры К. Надо найти. Матрицу ориентирования камеры Е в мировой СК. Она может быть представлена в виде матрицы поворота R и вектора переноса T камеры. Для начала представим данные в формате OpenCV. Подход следующий: создаем массив, и привязываем к нему создаваемую матрицу. Тогда любые изменения можно будет отслеживать в массиве или изменяя массив изменять саму матрицу (делаю так по причине незнания работы с матрицами). double Ktmp[9]={1, 0, 0, 0, 1,0, 0,0,1}; Mat K(3, 3, DataType<double>::type, Ktmp); // объявили матрицу и привязали к массиву В качестве К задана единичная диагональная матрица для упрощения проверки результатов. При такой калибровке 1 пиксель соответствует 1 единице длины (пусть будет миллиметр). Теперь зададим координаты точек объекта в мировой СК. Пусть это будет фрагмент шахматной доски, то есть координаты точек соединения квадратов. Например, 5 точек float modX[5]={0, 2, 4, 0, 2}; float modY[5]={0, 0, 0, 2, 2}; // массивы с координатами по осям float modZ[5]={0, 0, 0, 0, 0}; vector<Point3f> model_points; // массив «вектор» трехмерных точек. Сюда перепишем массивы. for (int i=0;i<5;i++) { model_points.push_back(Point3f(modX[i],modY[i],modZ[i]));// переписываем } Аналогично зададим координаты точек на изображении. Предположим наша камера не повернута относительно мировой СК, а только сдвинута вниз на 10 мм. Тогда координаты точек на картинке будут в 10 раз ближе к оптической оси камеры (которая в соответствии с заданной К находится в точке (0,0) кадра). float imX[5]={ 0, 0.2, 0.4, 0, 0.2}; float imY[5]={0, 0, 0, 0.2, 0,2}; vector<Point2f> image_points; for (int i=0;i<5;i++) { model_points.push_back(Point2f(imX[i],imY[i]));// переписываем } Теперь для функции надо указать еще и дисторсию, Но ее пока не учитываем Mat_<double> distCoeffs(1, 5); distCoeffs << 0.0, 0.0, 0., 0., 0.; // дисторсия по нулям Готовим переменные для выходнызх данных double rvectmp[3]={0.0};// сами переменные double tvectmp[3]={0.0}; Mat rvec(3, 1, DataType<double>::type, rvectmp); // привязываем матрицы (точнее вектор-столбцы) Mat tvec(3, 1, DataType<double>::type, tvectmp); Творим волшебство (Mat(image_points) видимо означает преобразование типа «вектор» к типу «Матрица» иначе компилятор ругается). solvePnP(Mat(model_points), Mat(image_points), K, distCoeffs, rvec, tvec, false); false – означает что расчеты ведутся с нуля, без начального приближения (см документацию) теперь что же делать с результатом? tvec, а вместе с ним и tvectmp теперь содержит координаты точки фокуса камеры в мировой СК. rvectmp содержит углы поворота СК камеры относительно мировой СК. Надо преобразовать в матрицу поворота R double Rtmp[9]={0.0}; Mat R(3, 3, DataType<double>::type, Rtmp); Rodrigues(rvec,R); //пересчет углов поворота в матрицу поворота Теперь Rtmp содержит коэффициенты матрицы поворота. Задача решена. Для текущих данных должно получаться: повороты по нулям, матрица поворота единичная диагональная, вектор переноса T=(0,0,-10) Текущий код не компилил, писал по памяти и по старому варианту, так что могут быть синтаксические ошибки. Но подход работал точно. Как сохранить решение и прочитать входные массивы (например из файла) уже даже чайник вроде меня должен сообразить. Спасибо за внимание. Ваши комменты.

Нашел одну статью: K-d дерево строится по следующему правилу: • начальное множество разбивается по значениям векторов в одной из координат, например, по i = 1,…k, на два подмножества; • i выбирается таким образом, чтобы разброс значений по данной координате был максимальным; • разбиение проводится по медиане m, так что одинаковое количество точек оказывается с одной и с другой стороны; • в вершине дерева хранятся значения i , m, разброс значений векторов по каждой координате; • для полученных вершин процесс повторяется. Для поиска n ближайших соседей к вектору q в построенном дереве: • сначала дерево обходится вниз до листа содержащего «ближайшую» к q точку. Эта точка не обязана быть ближайшей, это только первое приближение; • во время спуска по дереву заполняется список поддеревьев, которые еще не обходили. Также запоминаются расстояния до них, которое определяется как минимальное расстояние от точки q до любой точки, находящейся в границах значений поддерева; • из списка выбираем ближайшее к q поддерево и продолжаем поиск в нём; • расстояние до каждого нового найденного претендента сравнивается с радиусом сферы найденных точек с центром в точке q. Если данное расстояние меньше, то точку на сфере заменяем этим претендентом. Алгоритм работает до тех пор, пока в списке есть поддеревья с расстоянием, меньшим радиуса сферы найденных точек.

Неа, в сторону ASM (Active Shape Models), AAM (Active Appearance Models), и прочего подобного... Хаар и Виола с Джонсом Вам помогут локализовать фейс (может быть примерное расположение глаз носа и рта), а распознавать нет. Нужно найти достаточно много и достаточно точно характерные точки лица, сформировать из них вектор, а затем нейросети, SVM, марковские модели, или любые другие классификаторы. Многое есть на форуме. ЗЫ: Для Ваших масштабов, я думаю подойдет пример который уже есть на форуме. http://www.compvision.ru/forum/index.php?showtopic=81 или http://www.compvision.ru/forum/index.php?showtopic=74 что больше нравится.

http://www.icg.isy.liu.se/candide/ вот вроде бы готовая программа, но пока не пробовал. на похожую тему http://vision.eecs.ucf.edu/papers/yilmaz_accv_2002.pdf http://www.ecse.rpi.edu/~cvrl/chenj/Research.htm http://www.graphics.pku.edu.cn/members/chenyisong/projects/FaceTracking/faceTracking.htm http://users.isr.ist.utl.pt/~adb/research-projects/adaptive-sfm/adaptive-2d-3d-registration/

Видеоиллюстрация работы адабуст:

У меня программа вылетала с ошибкой "divizion by zero" на строчке: if( !cvFindHomography( &_pt1, &_pt2, &_h, CV_RANSAC, 5 )) Стал искать причину, обнаружил, что функция naiveNearestNeighbor может возвращать одну и ту же точку сколько угодно раз. То есть, для примера, у нас найдено n особенностей для исходного изображения и 1 особенность для изображения с камеры, тогда эта одна точка почему-то будет считаться парой для всех n точек из шаблона. Скорее всего функция naiveNearestNeighbor не очень верно работает (я с ней особо не разбирался), возможно, необходимо добавить туда еще какой-то порог или изменить существующие параметры. Добавил в функцию findPairs вот такую заглушку: if( nearest_neighbor >= 0 && nearest_neighbor != last_neighbor) { ptpairs.push_back(i); ptpairs.push_back(nearest_neighbor); last_neighbor = nearest_neighbor; } Хотя, все равно иногда вылетает та же ошибка (может быть это проблема борландовского компилятора), так что надо туда просто повесить обработчик ошибок и забить. На всякий случай прикрепляю проект для borland builder 6, вдруг кому-то пригодится. OpenCV SURF.rar

Программа для экспериментов с преобразованием Фурье. Содержит примеры разложения изображения на действительную и мнимую части спектра, и для разложения изображения на амплитудную и фазовую части спектра, а так-же обратные преобразования для обоих типов разложения. На картинке я вырезал кольцо из амплитудной и фазовой составляющей спектра разложения. И провел обратное преобразование. Исходник: FFT.RAR

Смотрел пример stereo_calib.cpp, там показаны оба метода cvStereoRectify и cvStereoRectifyUncalibrated, мне показалось что cvStereoRectifyUncalibrated, работает лучше... по крайней мере карта высот выглядит правдоподобнее. У меня есть модуль (см. вложение) который вроде как строит Q, по некоторым параметрам: Правда не известно откуда брать точные значения этих параметров... Да, вы можете посмотреть исходник с которым я работаю, ссылка в первом посте. Я попробовал использовать ее вот что получилось: Q возвращенное функцией cvStereoRectify: [ 1., 0., 0., -179.1385765075683600, 0., 1., 0., -120.1025462150573700, 0., 0., 0., 350.7473711626223000, 0., 0., -24.8326591292256540, -538.7927019658170600 ] Q полученное с помощью cvStereoRectifyUncalibrated и вашей функции: [ 1., 0., 0., -150.7913341775544300, 0., 1., 0., -102.6185674775258400, 0., 0., 0., 352.8618670197555500, 0., 0., -25.9740261147689360, 0. ] Пытался много раз калибровать, Q иногда больше похожи иногда меньше в среднем как-то так. stereo_utils.rar