кажется я нашел в чем проблема. эх оупнсиви какой-то глючный, во всяком случае нелогичный
при использовании rowRange возвращаемый рез-т картинка - просто указатель на подматрицу исходной картинки. об этом сказано в справке. ну ок.
при этом матрица становится "непоследовательной". т.е. ф-ия isContinuous() возвращает 0. вот тут то и глючит вывод на форму. для bitmap нужно посл-ную картинку.
даже после копирования картинки вот так
imageToHomography = imageToHomography.rowRange(fitoffset.y, fitoffset.y+fitoffset.height-1);
imageToHomography непоследовательный. (хотя выглядит как нормальное копирование).
решается примерно так
imageToHomography = localimage.rowRange(fitoffset.y, fitoffset.y+fitoffset.height-1).clone();
сейчас вроде бы не глючит. надеюсь я и правда нашел этот баг, а не то даже не знаю как это еще можно лечить))