Smorodov 579 Жалоба Опубликовано February 23, 2016 Хочу собрать модель лица как здесь: http://gaps-zju.org/facewarehouse/ (нижний ряд). Допустим у меня есть RGBD кадры, представляющие собой облака точек, пусть уже отфильтрованные, хотя это отдельный вопрос. Можно предположить также, что имеется поверхность на основе этого облака точек. Нужно получить сетки заданной топологии. Мои соображения: Можно искать ландмарки каким-нибудь DLIB или CLM затем по проекциям их на поверхность, построенную по облаку точек, собирать сетку, затем в системе координат этой сетки (текстурных например) интерполировать положение других узлов сетки желаемой топологии. Встречал ли кто такую задачу, и есть ли на примете какие материалы/ключевые слова по теме? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
BeS 53 Жалоба Опубликовано February 23, 2016 Пару лет назад вот такая статья проскакивала: https://homes.cs.washington.edu/~supasorn/eccv14_totalmoving.pdf На хабре её даже обозревали: https://habrahabr.ru/post/237827/ 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Smorodov 579 Жалоба Опубликовано February 23, 2016 Ну я на вот это нацелился: http://gaps-zju.org/DDE/DDEregression.pdf У них там используется билинейная модель. Тензор с отдельными измерениями по собственным компонентам лица человека, и собственным компонентам мимики. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано February 23, 2016 Изначальная задача собрать некий базис 3д моделей по которым потом будут строится промежуточные? Есть non-rigin ICP, т.е. взять некую 1 базовую модель и фитить её потом на облако точек, но думаю явно будут проблемы когда рот открывается и когда сильная мимика. http://www.hao-li.com/teaching/geometricComputingSeminar/IntroductionToNonRigidRegistration.pdf http://resources.mpi-inf.mpg.de/deformableShapeMatching/EG2011_Tutorial/slides/2.3%20Non-Rigid%20Registration.pdf http://lgg.epfl.ch/publications/2008/sgp2008GCO.pdf еще отсюда http://lgg.epfl.ch/publications.php http://lgg.epfl.ch/publications/2014/2d3dRegistration/index.php еще тут можно посмотреть много интересного http://www.pointclouds.org/blog/all.php секция Statistical Face Model как раз связана с вашей первой ссылкой не совсем в тему но есть еще такая штука как http://grail.cs.washington.edu/projects/dynamicfusion/papers/DynamicFusion.pdf 2 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Smorodov 579 Жалоба Опубликовано February 23, 2016 Да, как раз проблема сопоставить параллели и меридианы. Ведь одни и те же точки лица могут перемещаться достаточно далеко от того места, где они располагаются на среднем лице. Придется как то итеративно сооружать такие сетки. Кстати, получил недавно доступ к BaselFaceModel http://faces.cs.unibas.ch/bfm/?nav=1-0&id=basel_face_model Такое ощущение что робот доступ дает, так что проблем быть не должно. Моделька хорошая, управляется 200 параметрами сетка и 200 параметрами текстура. Пример на матлабе. Но мимика только нейтральная. Еще одна моделька для экспериментов: https://github.com/patrikhuber/4dface Сайт проекта: http://www.4dface.org/ (У этого чувака вообще проекты интересные). Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано February 23, 2016 На первый взгляд это выглядит как curve matching только в 3D, еще возможно задаются какие то constrains. Есть еще такая книга как Numerical geometry of non-rigid shapes тут вроде как и рот нормально алайнится http://www.hao-li.com/publications/papers/sca2009FO.pdf тут используют prior http://www.hao-li.com/publications/papers/siggraph2011RPBFA.pdf 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Smorodov 579 Жалоба Опубликовано February 23, 2016 Ну в ссылках уже используется PCA моделька в качестве приора. А я именно ее и хочу получить. За книжку спасибо. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
