Ага, похоже вы занимаетесь Automatic Image Annotation
Есть, как минимум, один проект подобного рода на OpenCV Annotator, к сожалению без исходников.
А почему вы используете Виола-Джонс? Этот алгоритм, похоже не самый популярный в данной задаче...
Я не пробовал, но встречал информацию по этому поводу в отдельной PDF (что-то вроде ObjectDetectionHowTo) и в O'Reilly Learning OpenCV
Если нужно детектировать достаточно особенные объекты, можно попробовать SURF