Jove

Добрый день! Подскажите в каком направлении копать. Задача: в режиме реального времени в кадре найти определенный объект, например, стул. Кроме того, определить ключевые/крайние точки (ножек, спинки и другие) - и, как следствие, определить угол наклона этого объекта относительно камеры по всем 3 осям. Насколько я понимаю, задача не сильно отличается от того же определения ключевых точек на лице методом Виолы-Джонса, но мне не понятно каким образом натренировать поиск не просто самого объекта, а конкретных точек на нем. Какие варианты реализации задачи существуют и какие из них наиболее точные и производительные?

Спасибо. Нашел у них же еще более интересное решение, которое на выходе выдает 3D координаты (21 точку на каждой руке). Не знаю, правда, насколько все это производительно - надо пробовать... https://github.com/lmb-freiburg/hand3d

Иллюзий по поводу простоты я не строю Но меньше всего хочется двигаться в неправильном направлении... Насколько реалистична такая реализация: 1. Раз в несколько секунд с помощью AAM или ASM находим очертания интересующего нас объекта, а также ключевые точки внутри него для последующего отслеживания. 2. Отслеживаем найденные точки (обычный tracking) с целью определения возможного изменения положения объекта в пространстве. И по этим точкам пересчитываем углы наклона. 3. Если отслеживаемые точки потеряны, то заново запускаем п. 1, ну и просто с какой-то периодичностью запускаем п. 1 для корректировки п. 2. И кто-нибудь пробовал вот это решение - насколько оно точное и производительное? https://docs.opencv.org/4.1.0/d2/d42/tutorial_table_of_content_cnn_3dobj.html 3D модели в формате ply я вполне могу насоздавать для обучения. Правда, насколько я понял, таким образом я смогу только обнаружить объект и узнать его положение, но не смогу получить ключевые точки/очертания объекта.

Правильно ли я понимаю, что реализация должна быть примерно следующей: 1. Найти искомый объект (объекты) в кадре с помощью классификационной нейронной сети. 2. В найденных объектах с помощью AAM найти ключевые точки. 3. По геометрии взаимного расположения точек в пространстве или с помощью регрессионной нейронной сети (по статистике расположения координат и соответствующих им углам) определить углы наклона. Или возможна более простая реализация? И насколько производительна может быть такая схема для отслеживания изменения состояний объектов в режиме реального времени на не очень производительном железе?

Не нашел ни одного туторила о том, как самому средствами openpose обучить нейронную сеть находить ключевые точки на своих объектах. Плохо искал или таких средств не существует? Кроме того, openpose требует CUDA, что мне не подходит...