Отвечу на свой вопрос, может быть кому-то пригодится.
Christoph Rackwitz дал мне хороший совет:
Я изменил алгоритм. Когда угловые точки передаются алгоритму MOSSE, а не оптическому потоку то курсор ведет себя гораздо стабильнее. Возникла небольшая проблема с дискретным перемещением, поскольку рамки объектов перемещались одновременно на равное число пикселей. Поэтому и курсор двигался скачками. Поэтому пришлось устанавливать фильтр не на курсор, а на каждую точку. Но, как видно на видео, в итоге нагрузка на процессор не увеличилась.
https://www.youtube.com/watch?v=WKwuas0GVkA
1. Lucas-Kanade optical flow:
goodFeaturesToTrack(),
cornerSubPix(),
calcOpticalFlowPyrLK(),
cursor EWMA filter
2. MOSSE object tracking:
goodFeaturesToTrack(),
cornerSubPix(),
cv::legacy::TrackerMOSSE,
all points EWMA filtration
И, конечно, мне нужно было не забывать включить библиотеку tracking453.lib to Linker. Я потратил полдня, выясняя причину unresolved external symbol LNK2001 error при включении cv::legacy::Tracker. Почему то включение трекера из основной библиотеки (cv::Tracker) не приводило к этой ошибке компиляции, это сбивало с толку.
Basel Face model, если получится, попробую для отслеживания мимики. Smorodov, спасибо что обратили внимание!