kinectfusion

[mrgloom 242]

вроде бы я уже спрашивал про реалтайм зд реконструкцию, но все таки спрошу еще раз, возможно ли это теоретически делать без карты глубины, что выдает кинект? т.е. с обычной камерой.

[Smorodov 579]

На том видео по плотному набору точек строится. Вряд ли можно в реалтайме сделать подобное для обычной камеры тут сигнальный процессор нужен. Но та форуме есть видео построения модели по набору особых точек. Получается низкополигональная модель.

[mrgloom 242]

вот вроде бы что то еще интересное, но там используется какая то модель(SFM pointcloud) заранее построенная для предсказания.

плотный набор точек имеется ввиду просто большее кол-во вычислений? больше точность?

а у кинекта идет какая то предобработка прям на нем чтоли?

[Smorodov 579]

Почитал тут : http://openkinect.org/wiki/Hardware_info

Есть две цветных камеры и черно-белая (сенсор глубины)

Все таки там есть DSP.

Здесь описание этого чипа: http://www.primesense.com/en/company-profile/114-the-ps1080

Здесь Pdf-ки:

https://www.futureworld.sg/images/docs/primesensor_datasheet.pdf

http://primesense.360.co.il/files/FMF_2.PDF

[Smorodov 579]

Видео показывающее инфракрасное изображение проецируемое проектором kinect:

[Nuzhny 243]

Мы, кстати, пытались из подручных материалов соорудить такой же ИК-проектор с кучей точек. На программируемом станке насверлили кучу дырочек в пластине, сделали ИК-фонарик - плохо. Нет такой плотности точек. Пробовали мощный ИК-прожектор, разные линзы - не получилось.

Можно, конечно, заказать все комплектующие, но интересно самим додуматься. И, кстати, кто-нибудь знает, зачем к ИК-лазеру из Кинекта целый шлейф идёт? Какое-то управление, а не просто "включить/выключить"?

P.S. Заказали с Амазона недавно вышедший новый Кинект под Windows.

[Pavia00 32]

И, кстати, кто-нибудь знает, зачем к ИК-лазеру из Кинекта целый шлейф идёт? Какое-то управление, а не просто "включить/выключить"?

Не понял вы о чём? Судя по фоту, там стоит ИК диод и камера ч/Б, перед камерой стоит ИК фильтер(голубая плёночка).

К камере идёт шлейф. Есть ряд ограничений на АЦП, который и застоявляют его сделать параллельным.

Плюс на фото, плохо видно, но скорее всего камеры с программной фокусировкой.

Сетчатые дырочки получаются светофильтром. Судя по фоту размер 1 на 1 милиметр. Скорее всего получено химической обработкой, травлением. Думаю что процесс получения микродырочек достаточно известный и не сложный. Вопрос только в материалах с рассчитанных на ИК диапазон.

[Pavia00 32]

Думаю, такую сеточку легко сделать дома из CD-R или DVD-R диска. Записываем на диск удаляем верхний слой, думаю серной кислотой.

"Дырочки" у DVD имеют размер 0.750 мкм.

DVD он многослойный там отражающий слой записывающий слой защитный слой.

Методику нужно проработать.

[Nuzhny 243]

Не понял вы о чём? Судя по фоту, там стоит ИК диод и камера ч/Б, перед камерой стоит ИК фильтер(голубая плёночка).

К камере идёт шлейф. Есть ряд ограничений на АЦП, который и застоявляют его сделать параллельным.

Плюс на фото, плохо видно, но скорее всего камеры с программной фокусировкой.

Нет, там ИК-лазер (в документации написано) и к нему идёт шлейф из нескольких жил, на фото видно. С камерой тоже не всё так ясно. Я пробовал при дневном свете (Кинект же не в темноте работает) снимать то, что выдаёт довольно мощный дальнобойный ИК-прожектор цветной камерой с CCD матрицей в ночном режиме (как раз с ИК-фильтром). Очень плохо видно пятно от прожектора даже на расстоянии около метра. Обычная чёрно-белая камера тоже не айс. И только довольно дорогая чёрно-белая камера также с CCD матрицей и кучей технологий накопления заряда видела это пятно хорошо. Но такая камера довольно дорогая, используется для охранных целей на весьма специфических объектах. Чувствительность у неё при включении всех плюшек около 0.00001-0.0001 Лк, тёмной ночью без звёзд и луны видит примерно как дешёвые тепловизоры (но смазывается движение). А это очень хороший показатель.

Придёт Кинект, разберусь что у него и как.

Думаю, такую сеточку легко сделать дома из CD-R или DVD-R диска. Записываем на диск удаляем верхний слой, думаю серной кислотой.

"Дырочки" у DVD имеют размер 0.750 мкм.

Надо будет попробовать.

[Pavia00 32]

image upload

[Pavia00 32]

Чувствительность у неё при включении всех плюшек около 0.00001-0.0001 Лк

АЦП работает обычно от опорного напряжения. Опорное напряжение обычно определяется как результат усреднения. В камере за это отвечает B\W (авто баланс белого) возможно есть ещё и другие настройки, как то чувствительность.

Камера должна работать с максимальным усилением. Заставить работать камеру можно. Для этого перед ней надо поставить узкополосным фильтр. У нас лазер работает на одной частоте поэтому тут узкополосный фильтр в самый раз.Отсеяв лишние помехи самый светлый участок у нас будет на лазаре. Камера его будет принимать за максимум(при включенном автобалансе B\W).

Обратите внимание на переднюю панель 3 оптических окна. Но одно из них не прозрачное синего цвета.

Непрозрачность как раз и намекает на то что, фильтер достаточно узкополосный. А то что окно синего цвета говорит что частоты в синем диапазоне он хорошо отражает, а вот красный(инфрокрасный) напротив пропускает.

Второй способ повышения чувствительности это увеличить выдержку.

видит примерно как дешёвые тепловизоры (но смазывается движение). А это очень хороший показатель.

Увеличение выдержки и приводит к смазыванию. Если выдержка не работает аппаратно, то её можно сделать программно усреднив кадры и подняв гамму(яркость/контрастность, но гамма мне больше нравится)

У ЧБ матриц шум меньше, поэтому они более чувствительны. Хотя и не намного.

[Pavia00 32]

Забыл ещё написать.

http://openkinect.org/wiki/Hardware_info

Если взять информацию от сюда заметь у ЧБ камеры матрица в 2 раза больше чем у цветной.

О чем ниже написано, что чувствительность в люксах у неё тоже в 2 раза больше.

Поэтому при выборе камеры надо обращать внимание на размер сенсора, а не число мегапикселей. (Думаю это все и так знают)

[Nuzhny 243]

Второй способ повышения чувствительности это увеличить выдержку.

Увеличение выдержки и приводит к смазыванию. Если выдержка не работает аппаратно, то её можно сделать программно усреднив кадры и подняв гамму(яркость/контрастность, но гамма мне больше нравится)

Да, у той сверхчувствительной матрицы как раз и применяется усреднение соседних пикселей и увеличение выдержки. Матрица 1/3, не так уж и много, но это стандарт для CCD. Ну и оцифровывается оно максимум в 768х576.

Мне неясно как камеры с таким низким разрешением улавливают такое число точек. Или не улавливают? Или только на очень близких расстояниях?

Просто строить интерфейс человек/компьютер мне неинтересно. Можно повторить продукт с подсчётом людей, повесив Кинект под потолком.

Но по-настоящему здорово было бы использовать его на уличных сценах для распознавания поведения людей или анализа автомобильных манёвров на перекрёстках. Но пока я не вижу, как это осуществить на практике.

[Pavia00 32]

Судя по видео из 9 поста точек не много примерно 216х216, разрешение камеры 1,280H x 1,024V. Если верить другим материалам, то улавливает все или почти все точки.

Или только на очень близких расстояниях?

Размер комнаты обычно редко привешает 5-10 метров. Думаю дальше камера просто не уловит.

[mrgloom 242]

еще есть аналог

http://ru.asus.com/Multimedia/Motion_Sensor/Xtion_PRO_LIVE/