Вот здесь можно скачать unit тест на базе Qt, который сравнивает производительность вычислений на CPU и GPU для некоторых функций OpenCV. У меня почему то CPU работает гораздо быстрее чем GPU. Мне всегда казалось, что видеокарта должна матрицы быстрее считать...