Smorodov

Не совсем так, yolo - это детектор для которого уже есть предобученные модели на десятки классов (coco >80,voc pascal 20 классов ), которых может вам будет и дестаточно. Он выдает рамку + индекс класса. Если не найдете все что нужно, надо учить, но это обучение не потребует учить с нуля, часть слоев будет "заморожена", а учатся толко несколько последних слоев. Пример обучения на своих данных : https://github.com/AntonMu/TrainYourOwnYOLO Это не требует очень много данных. Датасеты лучше не смешивать как попало, они обычно специально готовятся. Когда сеть нашла собаку, она может, например, узнать породу, запустив специально обученную сеть. https://github.com/ShihanUTSA/Dog-breed-classifier--Convolutional-Neural-Network

Все правильно, лучше по иерархии - от общего к частному. Вначале детектор-классификатор, типа YOLO v3 (4, 5), обученный на датасете типа COCO . А дальше специализированные классификаторы по подклассам. Их придется учтить на своих данных. Доучивать на расширенном датасете (после добавления данных) можно, но имеет смысл когда собралось достаточно много данных. Классификация цвета не такой тривиальный вопрос как может показаться. Еще в помощь NLP например : https://github.com/natasha/natasha Может быть еще captioning networks пригодятся https://github.com/zhjohnchan/awesome-image-captioning .

Ну там же стандартный текст, сравните со словариком и уберите )

Спасибо! Соберу тогда без CUDA.

Хз, попробуйте, отключить gapi. Я обычно собираю под студию, ставлю поддержку Qt и все норм. На днях планирую перестроить под 22 студию, заодно и проверю.

Посмотрите еще TLD tracker, ну и https://github.com/Smorodov/Multitarget-tracker . LK tracker быстрый, но не самый надежный вариант. Я имею ввиду, комбинацию трекеров, простой и быстрый, для коротких треков, между вызовами сложных и точных, для захвата/восстановления трека. Это даст регулируесый уровень компромиса между надежностью и вычислительными затратами/плавностью трека. Кстати, я как то делал проект с BFM : https://github.com/Smorodov/nano_bfm И еще SMPL: https://github.com/Smorodov/nano_smpl

Здравствуйте, предварительныя обработка может убрать шум, если усрежнять кадры или делать морфологию, но, как вы заметили, это не сильно добавляет стабильности, за исключением некоторых редких случаев. Намного лучшие результаты дают фильтры по модели. Это предполагает, что лицо имеет меньше степеней свободы чем независимые точки в том количестве что выдает детектор. Если кратко то у точек 3*N степеней свободы, а у лица M + 6, где N - количество точек, M - количество независимых групп мышц. Соответственно, точки не могут гулять как попало, они должны принадлежать модели. Есть параметрические модели лиц, например Basel Face model одна из наиьолее популярных, она довольно тяжелая, но можно достать из нее только нужные точки. Дальше линейная оптимизация, поможет сопоставить 2D и 3D, найти поворот, масштаб, смещение и параметры формы. Вот тут посмотрите: https://github.com/3d-morphable-models/curated-list-of-awesome-3D-Morphable-Model-software-and-data

Если шаблон в изображении встпечается всегда, то можно использовать https://www.ccoderun.ca/programming/doxygen/opencv/group__imgproc__object.html#ga586ebfb0a7fb604b35a23d85391329be . Функция matchTemplate поможет найти положение шаблона, но это не детектор, который скажет о наличии или отсутствии его на изображении. Если нужен детектор, то надо обучить его на ваш объект. Погуглите OpenCV objtct detector.

Посмотрите тут: Конечно это не встраивание, но может это и лучше ) Ну а если более гибкий интерфейс нужен посмотрите в сторону ImGui или Qt шаблон для Imgui + opencv можно взять здесь: https://github.com/Smorodov/imgui_opencv_template русский язык и ttf шрифты поддерживаются.

Ну может я что то упустил. Я имел ввиду, что входная картинка, например, вариант нормально расположенных зубов здоровой челюсти, вариаций то немного, на мой взгляд дилетанта ) А сеть постарается собрать что то максимально близкое из данных ей деталей. Как то так.

Ну допустим так: GAN получает рендеренные картинки как они должны выглядеть. Генератор получает при обучении случайные наборы зубов и расставляет, чтобы получать картинки, близкие к требуебым. При использовании, даем набор сеток и картинку(-ки) с хорошим расположением и получаем набор из 32 матриц трансформации. Еще посмотрите обратный рендеринг (inverse rendering), например matsuba2. VTK - все же больше для других целей, реалистично в нем сложно отрендерить.

Я имел ввиду сделать рендерилку, на взоде 3Д моделька с параметрами положения каждого зуба, поворот, смещение, масгтаб , это все обычно и запихнуто в матрицу 4 на 4 для каждого объекта. Итого, картинка будет функцией от 16*32 параметров. А GAN будет обычный, картинковый ) , датасет тоже картинки. Сейчас есть хорошие PBR рендерилки, ну например googlовский filament иу или что нибудь из либов Nvidia. PS: погуглите еще 3d morphable models может наведет на новые идеи. Ну и вот это гляньте: https://github.com/NVlabs/nvdiffrast

Да нет, просто вопрос как генерировать и как оценивать. Можно, например, генерировать изображение лица с улыбкой из тестируемых зубов, а димкриминатор булет оценивать красоту ) Задаем параметры на входе генератора с матрицами трансформаций, например, на выходе - изображение, далее как обычный ГАН. Можно напрямую, , без изображений, но надо как то обучить дискриминатор .

Занятно, но тут ведь не только эстетика важна, нужно же и поверности совместить правильно. Нейронку, кстати, я думаю, можно обучить сегментации поверхностей, где то на гитхабе видел проекты для сегментации 3д сеток (сегментация). Далее, можно научить определять что это за зуб, и где его правильное место (классификация). После этого, можно попытаться решить задачку регистрации 3д сеток. (Найти совмещение шаблона и нашей сетки). Классика здесь алгоритм iterative closest point. Ну дальше по необходимости и фантазии ) PS: Вот кстати про 3д зубы ) : https://github.com/Tai-Hsien/MeshSegNet ну и вот тут покопайтесь: https://github.com/QiujieDong/Mesh_Segmentation

Так что имеем то ? Сцену в 3д формате, и надо выставить объекты по некоторой ориентированной кривой ? Так объекты аннотированны? Или где верх/низ, и т.д. должна решать сеть? В общем пока не очень понял что дано, а что ищем. Может пару картинок привелете, если не секретно конечно )