Перейти к содержимому
Compvision.ru
mrgloom

Evaluation toolkit for object detection

Recommended Posts

Какие есть варианты для тестирования детекторов объектов - тулкиты, протоколы?

 

http://rodrigob.github.io/are_we_there_yet/build/

тут например  для pedestrian detection

используется Caltech Pedestrians toolkit

что то похожее есть тут

http://docs.opencv.org/3.0-beta/modules/datasets/doc/datasets/pd_caltech.html

 

еще это но оно 5-ти летней давности и без подключенных алгоритмов 

https://github.com/rodrigob/visiongrader

 

 

для face detection

http://vis-www.cs.umass.edu/fddb/

http://www.cs.colostate.edu/evalfacerec/index10.php

 

тут FDDB и для object detection

https://github.com/ITLab-Vision

 

 

тестирование DNN

https://github.com/ITLab-Vision/DNN-develop

 

 

по идее идеально было бы так берешь готовый код на любом языке и сваливаешь результаты в какой либо формат который описывает протокол тестирования для конкретной задачи или датасета и есть общий код который это всё обрабатывает и строить ROC curve или что там еще.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я сколько ни работал в разных конторах, но всегда сами писали утилиты на плюсах или Питоне, которые перемалывали какие-то результаты в текстовом виде и сохраняли:

1. в csv файлы с последующим анализом в Экселе;

2. html файлах с таблицами и графиками;

3. просто выдаёт цифры в консоль/файл.

Просто в каждом конкретном случае были разные требования в отчётах по результатам, работали разные команды. Та же связка Питон + html удобна тем, что всё пишется легко и быстро, отчёты и графики красивые, открыть их может любой менеджер и директор, можно вставлять картинки, видео, делать целые галереи. И всё практически бесплатно.

Эксель удобен своими библиотеками, которые могут другим специалистам помочь построить любые графики и всячески проводить анализ.

 

P.S. Насколько я понимаю, Бененсон перенёс весь питоновский код с анализом результатов к себе в doppia.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ImageNet большая популярная база.

На ней тестировались последние сверточные сетки.

http://www.image-net.org/

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

страница caltech pedestrians содержит результаты и для других датасетов для генерации ROC curve

http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/datasets/

 

 

для лиц можно перегонять все в этот формат (а может и для произвольных объектов подойдет), единственное смущает зависимость от GNUPLOT

http://vis-www.cs.umass.edu/fddb/results.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Какой официальный сайт для Pascal VOC ? или соревнование закончилось в 2012?

 

не работает

http://pascallin.ecs.soton.ac.uk/challenges/VOC/voc2012/results/index.html

 

 

UPD:

похоже нашел

http://host.robots.ox.ac.uk:8080/pascal/VOC/

http://host.robots.ox.ac.uk/pascal/VOC/voc2005/index.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так и не понял какую метрику адекватно использовать для тестирования детектора

в основном там всё основано на  TP, FP, TN, FN 

http://rali.iro.umontreal.ca/rali/sites/default/files/publis/SokolovaLapalme-JIPM09.pdf

https://github.com/benhamner/Metrics

 

еще непонятно с ROC curve, правильно ли я понимаю что, нам достаточно чтобы классификатор мог выдавать некий detection score(probability) и потом каждая точка на ROC curve строиться путем варьирования порога (дефолтно порог стоит 0.5)? 

 

еще часто рассматривается AUC(area under curve) и AP(average precision)

 

кроме ROC curve есть еще DET curve

http://en.wikipedia.org/wiki/Detection_error_tradeoff

 

 

 

http://dhoiem.cs.illinois.edu/projects/detectionAnalysis/

 

 

ROC, DET, PR curve

http://www.vlfeat.org/overview/plots-rank.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×