реконструкция сцены по серии кадров в формат движка UD V1

[Денис Трофимов 0]

Немного предыстории...

Более пятнадцати лет я занимался разработкой специальных алгоритмов и структур данных для хранения и растеризации сцен неограниченной точности и гиганских объёмов. Движок позволяющий в реалтайме растеризовать такие сцены уже близок к завершению, так что стала задача получения _реальной_ сцены а не моделируемой программно - ибо не впечатляет... ...

Собственно вопрос первый и главный - у вас тут на форуме реальной помощи можно ожидать? Ни сколько не хочу принижать заслуги профессиональных тролей, но тема довольно серьёзная и одними тролями мне не обойтись... ...

Вобщем вот чего я успел накопать. Есть такая программа VisualSFM, и она по идее позволяет по серии кадров воссоздать трехмерную геомертию которую после можно будет переработать в мой формат, но разобратся в ней брутфорсом у меня не вышло, нужно понимать побольше чем только SIFT... Кто-нибудь может помочь разобратся с программой этой?

Ну и немножко скриншотов в хронологическом порядке...

[mrgloom 242]

и что прям никаких ограничений\требований к железу? (если есть тема про это на геймдеве, то дайте ссылку)

какой у вас там формат данных точки\воксели\полигоны?

можно попробовать поискать какие нибудь датасеты от LIDAR.

можно попробовать поискать датасеты вокруг библиотеки PCL (хотя там наверно не такие большие)

VisualSFM изкаробки у меня не захотел работать(т.е. если просто открыть фотографии) скорее всего из-за того, что там надо выставлять параметры камеры, ну кстати можно и попробовать разобраться, ибо он умеет матчить кейпоинты на ГПУ, не знаю правда как там с экспортом данных и с поддержкой больших объемов данных.

и вообще вы как планируете делать все фотографии вручную?

вроде работал какой то комерческий продукт более менее адекватно и вроде там было экспортирование модели в меш, но я уже не помню как он назывался.

есть еще бандлер, от майкрософта фотосайт или фототуризм как то так и тут список http://en.wikipedia.org/wiki/Structure_from_motion

п.с. вообще тема интересная.

[mrgloom 242]

тут вот есть наборы картинок + похоже данные для bundler, т.е. их еще надо собирать в модель.

http://grail.cs.washington.edu/projects/bal/

http://phototour.cs.washington.edu/bundler/

и сам bundler тоже похоже надо собирать(если самую последнюю версию)

тут еще в разделе data

http://grail.cs.washington.edu/projects/mcba/

[Денис Трофимов 0]

и что прям никаких ограничений\требований к железу? (если есть тема про это на геймдеве, то дайте ссылку)

по сути да... ну тоесть FPS линейно зависит от разрешения экрана и вообще не зависит от количества данных...

тема про этот феномен обсуждается тут:

http://www.gamedev.ru/code/forum/?id=131271

какой у вас там формат данных точки\воксели\полигоны?

рассматриваются несколько моделей, правда реализуется пока только одна, суть примерно такая, есть прозрачный объемный объект, внутри которого может находится наблюдатель, этот объект разбит на трёхмерные симплексы (не правильные тетраэдры), так что симплексы не имеют пересечений друг с другом и полностью содержат пространство объекта. грани симплексов могут быть либо прозрачные либо светоотражающие, те что прозрачные являются конструктивным элементов пространства зрения, а те что не прозрачные образуют поверхности видимых объектов. такая структура позволяет растеризовать сцену за линейное, но не утверждается что такой способ единственный... темы:

http://www.gamedev.ru/code/forum/?id=169174&page=2

http://www.gamedev.ru/code/forum/?id=169417

http://www.gamedev.ru/pages/tetrawaves/forum/?id=168132

http://www.gamedev.ru/code/forum/?id=169259&page=3

можно попробовать поискать какие нибудь датасеты от LIDAR.

можно попробовать поискать датасеты вокруг библиотеки PCL (хотя там наверно не такие большие)

хм... а чё, может и найду... спасибо за подсказку!

VisualSFM изкаробки у меня не захотел работать

у меня тоже, но после оплаты дани ктулху под музыку чукотских шаманов, запустить её получилось, но чёт она не считала у меня... вчера под вечер ещё раз попробовал, закинул вместо десяти фоток полторы сотни, она начила считать... сейчас вроде нормально досчитывает полторы тысячи фоток...

и вообще вы как планируете делать все фотографии вручную?

не совсем понял что значит "делать" - фотографировать всмысле? если да, то да, получение фоток пока автоматизировать рановато, ведь для этого нужно дать возможноость фотографу перемещатся во первых а во вторых распознавать хотябы растояние до объектов, чтобы знать куда можно перемещатся... вобщем пока делаем просто - видеокамера с прогрессивной развёрткой, чувствительной матрицей и удвоенным FPS, 60 кадров в секунду в формате FullHD, после видеопоток режется на кадры и прореживается... а так то конечно, основное назначение - реализация памяти для машинного зрения, так что и получением фоток в перспективе будут заниматся машины...

есть еще бандлер, от майкрософта фотосайт или фототуризм как то так и тут список http://en.wikipedia.org/wiki/Structure_from_motion

угу спасибо, тоже гляну...

[mrgloom 242]

вспомнил ту программу которую упоминал

http://www.agisoft.ru/products

оказывается это тоже самое что и

VisualSfM+CMPMVS

только в другой оболочке.

[mrgloom 242]

вообщем в основном есть несколько вариантов.

SFMToolkit

bundler

visualsfm

photosynth+synthexport

http://photosynth.net http://synthexport.codeplex.com/

я пока пробовал только visualsfm и photosynth

второй вроде бы работает дольше, но и лучше, хотя и не идеально.

пока непонятно как наложить ограничения чтобы лучше схватывало видеосъёмку, причём пока надо конвертить в изображения вручную.

вся сложность как я понимаю в bundle adjustment.

+ пока непонятно как сделать реально большую сцену, даже если её мерджить из маленьких, даже если руками.

+ получается очень разреженый поинт клауд, можно сделать dense reconstruction, но тогда это уже вроде как будут полигоны, а не поинт клауд.

вот примеры

http://photosynth.net/view.aspx?cid=9b2e1b83-6922-4b9c-b72a-632e18fb8a47

[mrgloom 242]

еще неплохо было бы найти просмотрщик для больших поинт клаудов.

https://github.com/adasta/osgpcl

[Денис Трофимов 0]

вспомнил ту программу которую упоминал

http://www.agisoft.ru/products

попробовал эту штуку - реально работает, только четырёх гигов памяти хватает для очень плохого качества...

оказывается это тоже самое что и

VisualSfM+CMPMVS

только в другой оболочке.

VisualSfM'ом получил неплохие облака точек по прореженному видео, а вот CMPMVS не могу запустить так как нет компа подходящего, сегодня иду беру комп с 32 гигами оперативы на SSD и i7, посмотрим что получится, отсчитаюсь... и огромное спасибо за Agisoft!

[mrgloom 242]

Agisoft

да кстати вроде вы не первый на память жаловались, причем я не понмню есть ли там поддержка GPU.

по сути там всё тоже самое что в VisualSfM только нельзя экспортировать модель в дэмоверсии, но зато всё красивее и проще.

к bundler'у что то подбираться вообще не хочется, он похоже консольный и линуксовый.

вообщем VisualSfM можно считать оптимальный вариант, ну еще photosynth+synthexport (возможно в некоторых случая лучше делает bundle adjustment, но это какой то мутный момент возможно можно и VisualSfM поднастроить), но в связке photosynth+synthexport надо еще как то делать dense reconstruction, возможно можно и .ply файл загрузить в VisualSfM и там сделать или surface reconstruction в meshlab'e.(я пока не пробовал, причем еще непонятно при dense reconstruction это все тот же поинт клауд? или мы уже имеет что то типа mesh'а?)

как писали в группе VisualSfM можно вроде запускать dense reconstruction прямо из программы, если кинуть всё в папку.

опять же как тут пишут meshlab умеет импортировать point cloud из photosynth

http://www.iafsm.org/resources/Opensourcetoolspart4.pdf

MeshLab reportedly has a

maximum capacity of handling point clouds in the range of 31 million points or thereabouts.

а про fps ничего.

а вот насчёт приличного вьювера я так и не понял, тот же meshlab мне кажется на большом поинт клауде сдохнет. У PCL вроде что то есть(и со сжатием), но там свой формат, надо будет перегонять.

опять же вопрос с видео как не матчить все картинки со всеми, там есть параметр перекрытие, но что то он непонятен.

https://groups.google.com/forum/?fromgroups=#!topic/vsfm/i_8ebwxtdkw

VisualSfM'ом получил неплохие облака точек по прореженному видео, а вот CMPMVS не могу запустить так как нет компа подходящего, сегодня иду беру комп с 32 гигами оперативы на SSD и i7, посмотрим что получится, отсчитаюсь... и огромное спасибо за Agisoft!

ну вообщем интересно что получится, я в свою очередь продолжу свои изыскания.

http://francemapping.free.fr/Portfolio/Prog3D/CMVS.html тут пишут, что всё собирается из маленьких кусочков, так что размер памяти не помеха.

[mrgloom 242]

возращаясь к теме использования видео (проблема была в том, что если поделить видео на фреймы, то некоторые получались смазанные\заблюренные)

похоже решение всё-таки есть.

http://research.microsoft.com/en-us/um/redmond/groups/ivm/sharppanoramas/

отсюда

http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/#sharppano

Microsoft ICE использует это для панорам из видео, но так же это можно использовать и для SFM из видео.

тем более даже обсуждалось

http://photosynth.net/discussion.aspx?cat=ceca0f30-0f7c-4468-811a-32b623ea8563&dis=38fa4600-62ec-4c86-94c3-35c1b118766d