mrgloom 242 Жалоба Опубликовано June 4, 2015 Какие есть варианты для тестирования детекторов объектов - тулкиты, протоколы? http://rodrigob.github.io/are_we_there_yet/build/ тут например для pedestrian detection используется Caltech Pedestrians toolkit что то похожее есть тут http://docs.opencv.org/3.0-beta/modules/datasets/doc/datasets/pd_caltech.html еще это но оно 5-ти летней давности и без подключенных алгоритмов https://github.com/rodrigob/visiongrader для face detection http://vis-www.cs.umass.edu/fddb/ http://www.cs.colostate.edu/evalfacerec/index10.php тут FDDB и для object detection https://github.com/ITLab-Vision тестирование DNN https://github.com/ITLab-Vision/DNN-develop по идее идеально было бы так берешь готовый код на любом языке и сваливаешь результаты в какой либо формат который описывает протокол тестирования для конкретной задачи или датасета и есть общий код который это всё обрабатывает и строить ROC curve или что там еще. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано June 4, 2015 Я сколько ни работал в разных конторах, но всегда сами писали утилиты на плюсах или Питоне, которые перемалывали какие-то результаты в текстовом виде и сохраняли: 1. в csv файлы с последующим анализом в Экселе; 2. html файлах с таблицами и графиками; 3. просто выдаёт цифры в консоль/файл. Просто в каждом конкретном случае были разные требования в отчётах по результатам, работали разные команды. Та же связка Питон + html удобна тем, что всё пишется легко и быстро, отчёты и графики красивые, открыть их может любой менеджер и директор, можно вставлять картинки, видео, делать целые галереи. И всё практически бесплатно. Эксель удобен своими библиотеками, которые могут другим специалистам помочь построить любые графики и всячески проводить анализ. P.S. Насколько я понимаю, Бененсон перенёс весь питоновский код с анализом результатов к себе в doppia. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Smorodov 579 Жалоба Опубликовано June 4, 2015 ImageNet большая популярная база. На ней тестировались последние сверточные сетки. http://www.image-net.org/ Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано June 9, 2015 страница caltech pedestrians содержит результаты и для других датасетов для генерации ROC curve http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/datasets/ для лиц можно перегонять все в этот формат (а может и для произвольных объектов подойдет), единственное смущает зависимость от GNUPLOT http://vis-www.cs.umass.edu/fddb/results.html Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано June 10, 2015 Какой официальный сайт для Pascal VOC ? или соревнование закончилось в 2012? не работает http://pascallin.ecs.soton.ac.uk/challenges/VOC/voc2012/results/index.html UPD: похоже нашел http://host.robots.ox.ac.uk:8080/pascal/VOC/ http://host.robots.ox.ac.uk/pascal/VOC/voc2005/index.html Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано June 11, 2015 Так и не понял какую метрику адекватно использовать для тестирования детектора в основном там всё основано на TP, FP, TN, FN http://rali.iro.umontreal.ca/rali/sites/default/files/publis/SokolovaLapalme-JIPM09.pdf https://github.com/benhamner/Metrics еще непонятно с ROC curve, правильно ли я понимаю что, нам достаточно чтобы классификатор мог выдавать некий detection score(probability) и потом каждая точка на ROC curve строиться путем варьирования порога (дефолтно порог стоит 0.5)? еще часто рассматривается AUC(area under curve) и AP(average precision) кроме ROC curve есть еще DET curve http://en.wikipedia.org/wiki/Detection_error_tradeoff http://dhoiem.cs.illinois.edu/projects/detectionAnalysis/ ROC, DET, PR curve http://www.vlfeat.org/overview/plots-rank.html Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах