margadon

в общем. это не задача для гана. решилось все обычным автоэнкодером. пока только в 2D по одному признаку выравнил. для кодера хватило 3 слоя свертки с макспулингом, батч норм и нелинейностью. декодер в обратной последовательности. вместо макспулинга - апсемплинг. теперь в 3D делаю. и по нескольким признакам.

Если ей при использовании нужно давать картинку с хорошим расположением, то теряется смысл всего мероприятия. Мне от генератора как раз надо получить картинку с хорошим расположением как результат его работы над входным набором мешей. Ну или матрицу трансформаций, а потом отрисовать хорошую картинку, используя эту матрицу.

для рендеринга планирую vtk использовать, есть наработки. с генератором не совсем, но примерно - он будет выдавать матрицу сдвигов всех зубов. А при инференсе он будет на вход получать 32 меша? а что с ними делать, не понятно. сравнивать последовательно каждый зуб с чем? ума не приложу. Читаю про cGAN - там на входе генератора при обучении конкатенируют с шумом например метку. он учится таким образом, что при инференсе метка на входе приведет к тому что генератор выдаст только объекты максимально похожие на те, которым его обучали вместе с этой меткой. а тут я что буду в качестве условия передавать на вход генератора в процессе обучения? все 32 меша зубов? и что с ними делать? выяснить какие-то фичи и потом каждый по своему каналу пройдя все фильтры преобразуется в матрицу 32*16? так что-ли?

вот есть много ровных челюстей в качестве обучающего датасета. например таких на второй картинке выше. а как задать на входе параметры генератора ? conditional GAN - это оно? а что за матрицы трансформаций? ко всему еще - у меня 3d meshes. свертка для них описана вроде. для Gan нужна вроде деконволюция. Это загадочная штука в случае меша, но мне генерить сами зубы не нужно, их нужно только передвигать. т.е. подав на вход генератора, не изменять их в процессе учебы или инференса, а только передвигать их, поворачивать и тп. поэтому деконволюция мешей вроде это не мой случай. Куда мне дальше копать? насколько вообще сложной будет сеть? С одной стороны в каждом зубе под 10к вертексов. много. но с другой, мне с них нужны немножко фичей плана касательной к передней поверхности, удаление от плоскости окклюзии, угол курса, тангажа, крена и расстояние между зубами Буду пробовать. Может еще что-нибудь почитать посоветуете на эту тему?

Спасибо, все изучил. про ICP даже немного знал. Примерно понятно про фичепойнты мешей. Есть сети, которые их извлекают. Теперь имею идею. Думаю как придумать GAN сеть для этой цели. Основное сомнение - везде на вход генерирующая сеть получает шум, и учится из шума делать что-то под руководством сети-дискриминатора. Мне же генерить зубы как таковые не надо. мне их надо только двигать в нужном направлении. как тут быть? как задаче подойти? как на вход генератора крывые зубы подать, а ровные получить? Или я не то говорю?

было так как на картинке start. а должно стать как на final

Есть несколько трехмерных объектов ( mesh) неправильно - криво, косо, со смещением, наклоном расположенных друг относительно друга. Нужно их всех выровнять, подровнять, выстроить вдоль симмертричных ровных дуг. действующий алгоритм делает это с приемлемым результатом примерно в 70% случаев. и не использует ИИ, а использует страшную функцию, линеаризует, аппроксимирует и т.п. Хочется улучшить точность позиционирования и есть желание применить ИИ, но нет ни одной идеи на что это может быть похоже. эта задача классификации, регресии, сегментации? в качестве обучающей выборки есть большое количество правильных сетапов - как должно быть в итоге. Все осложняет тот факт что каждый объект в какой-то степени уникален. у каждого свои бугорки, выступы, трещинки, и по большому счету своя форма, несмотря на то, что все они принадлежат к одному классу. У каждого из объектов при этом есть набор лендмарков, или характерных точек - самая нижняя / верхняя точка, линеаризованная граница кромки, плоскость касательная к внешнему выступу, и т.п, eще порядка 10-15 фич. Почему решил ИИ - потому что в своих подходах он подобен человеку, а сейчас оценку итога работы алгоритма дает именно человек - по своему опыту судит - нравится/не нравится, красиво/некрасиво, эстетично/ не очень. Что тут можно сделать, в какую сторону думать?