Я слабоват в opencv и в математике в целом, но сегодня такая идея пришла. Допустим удалось выделить руку по цвету, дальше выделить прямоугольником кисть руки и посчитать гистограмму яркости, по идеи там будет график подъема и резкого падения.
Вот эти точки как раз и нужны.
Потом построить по точкам многоугольник и определять жест по количеству ребер этого многоульника (или по кол-ву точек). Что-то вроде этого.
Просьба подсказать, в том ли направлении я иду?