Перспективные и интересные проекты в области машинного зрения

[kvarg 0]

Доброго времени суток!

Только начинаю заниматься машинным зрением, всвязи с чем ищу сложную и перспективную проблему в качестве глобальной цели.

На данный момент есть одна идея - реализовать систему интеллектуального видеонаблюдения, которая бы реагировала на отдельные лица, предметы, образы и при этом начинала запись и проводила классификацию. В дальнейшем хотелось бы выполнить её в одном конструктиве, т.е. построить встроенную систему на её основе.

Практическое применение - охранная система, учитывающая факт нахождения домашних животных в помещении.

Или поиск разных интересных личностей в местах скопления людей.

Что скажете, товарищи гуру, есть ли перспективы у этой идеи?

Первоначально, видимо, стоит начать с простых вещей - обработки статических изображений (нахождение и классификация образов) и узучить под это дело OpenCV. Кстати, что посоветует почитать для начала?

Разумеется, встаёт вопрос насчёт камеры для дальнейших опытов - в соседних темах этот вопрос поднимался, но:

1) Мой бюджет ограничен 50 баксами

2) Есть желание, чтобы завелось под линуксом

Реально ли в таких условиях чего-нибудь выбрать для дальнейшей перспективы или же я утопист?

Заранее спасибо за ответы и советы!

[Smorodov 579]

Доброго времени суток!

Только начинаю заниматься машинным зрением, всвязи с чем ищу сложную и перспективную проблему в качестве глобальной цели.

На данный момент есть одна идея - реализовать систему интеллектуального видеонаблюдения, которая бы реагировала на отдельные лица, предметы, образы и при этом начинала запись и проводила классификацию. В дальнейшем хотелось бы выполнить её в одном конструктиве, т.е. построить встроенную систему на её основе.

Практическое применение - охранная система, учитывающая факт нахождения домашних животных в помещении.

Или поиск разных интересных личностей в местах скопления людей.

Что скажете, товарищи гуру, есть ли перспективы у этой идеи?

Первоначально, видимо, стоит начать с простых вещей - обработки статических изображений (нахождение и классификация образов) и узучить под это дело OpenCV. Кстати, что посоветует почитать для начала?

Разумеется, встаёт вопрос насчёт камеры для дальнейших опытов - в соседних темах этот вопрос поднимался, но:

1) Мой бюджет ограничен 50 баксами

2) Есть желание, чтобы завелось под линуксом

Реально ли в таких условиях чего-нибудь выбрать для дальнейшей перспективы или же я утопист?

Заранее спасибо за ответы и советы!

Есть несколько соображений:

1) Под линуксом заведется

2) 50 $ пока хватит на 320х280, на первое время этого достаточно. (со статикой очень быстро наиграетесь)

3) встраиваемые системы - те-же компы, только дороже, при достаточных средствах их можно запараллелить.

4) для существенного ускорения можно применять графические чипы, как было сказано раньше, многие задачи машинного зрения неплохо распараллеливаются.

6) при дальнейшем развитии (требует больших денег) можно перевести все на программируемую логику.

По поводу литературы: мануал, некоторые материалы можно найти на сайте, есть еще Learning OpenCV, но там, насколько показала практика есть небольшие ошибки в примерах. Лучше всего ориентироваться на примеры из директории OpenCV/examples.

[Nuzhny 243]

Раз уж ориентир на встраиваемые системы, то посмотри на продукцию одного из лидеров области BOSH (тут на русском).

[kvarg 0]

Благодарю всех ответивших.

2Smorodov

3) встраиваемые системы - те-же компы, только дороже, при достаточных средствах их можно запараллелить.

4) для существенного ускорения можно применять графические чипы, как было сказано раньше, многие задачи машинного зрения неплохо распараллеливаются.

6) при дальнейшем развитии (требует больших денег) можно перевести все на программируемую логику.

Появилась следующая идейка - сделать отдельный вычислитель для аппаратной поддержки CxCore, который можно было бы повесить на разные шины (например, PCI или PCI-E для писюка). Или же не имеет смысла в виду того, что программные решения на базе графических карточек уже удовлетворяют всем потребностям по производительности? И есть ли подобные решения, как таковые?

2) 50 $ пока хватит на 320х280, на первое время этого достаточно. (со статикой очень быстро наиграетесь)

А не маловато ли разрешение даже для начала? Я видел вебки 640x480 за 700р и ещё думал - имеет ли смысл брать...

2Nuzhny

Ознакомился с возможностями. Насколько я понимаю - это "чёрный ящик", т.е. реализация закрыта?

[Smorodov 579]

Благодарю всех ответивших.

2Smorodov

Появилась следующая идейка - сделать отдельный вычислитель для аппаратной поддержки CxCore, который можно было бы повесить на разные шины (например, PCI или PCI-E для писюка). Или же не имеет смысла в виду того, что программные решения на базе графических карточек уже удовлетворяют всем потребностям по производительности? И есть ли подобные решения, как таковые?

А не маловато ли разрешение даже для начала? Я видел вебки 640x480 за 700р и ещё думал - имеет ли смысл брать...

2Nuzhny

Ознакомился с возможностями. Насколько я понимаю - это "чёрный ящик", т.е. реализация закрыта?

Насчет проектирования CxCore в железе, лучше посмотреть в сторону CUDA и TESLA.

640х480 - это оптимум для настольной системы, бОльшие разрешения можно использовать, если применять дополнительные средства (видеокарта, специально спроектированный адаптер...).

Вообще, лучше берите камеру с хорошей оптикой, разрешение не так важно, если будет больше чем надо - всегда можно уменьшить.

Аналог OpenCV на GPU

[Cfr 1]

Автоматические системы видеонаблюдения есть во всех универах даже у нас, производителей тоже море, не особо перспективная задача, хотя полезная для изучения (трекинг, обучаемые детекторы, классификация).

[milk3d 2]

А что вы думаете о задаче дополнения реальности (Augmented reality)? Недавно обнаружил, что большое количество маленьких и довольно больших проектов начинает выпускаться в которых используется дополнение реальности. К примеру тот проект от PleyStation о котором я писал на форуме http://www.compvision.ru/forum/index.php?showtopic=143. На западе идет активное изучение данной темы. Многие крупные компании так же ведут разработку, судя по их рекламным роликам.

[Nuzhny 243]

2Nuzhny

Ознакомился с возможностями. Насколько я понимаю - это "чёрный ящик", т.е. реализация закрыта?

Да, закрыта. Хороших открытых детекторов днём с огнём не сыщешь. Например, на выставке Интерполитех (одна из крупнейших в России) в 2005-2006 гг. было тестирование детекторов систем видеонаблюдения, так многие просто слили.

Написать хороший очень тяжело. Если хочешь, могу привести примерный список требований к видеоаналитике, который предъявляется к профессиональным системам.

Автоматические системы видеонаблюдения есть во всех универах даже у нас, производителей тоже море, не особо перспективная задача, хотя полезная для изучения (трекинг, обучаемые детекторы, классификация).

Да, их довольно много. Но сложность выхода на рынок определяется не только их количеством. В этой области для клиентов очень важна репутация производителя. Впрочем, полнофункциональную систему видеонаблюдения в одиночку написать просто нереально.

Если же специализироваться только на детекторе движения, то шанс небольшой есть. Продавать его как библиотеку, как продаются библиотеки для распознавания лиц, авто и ж/д номеров и т.п. Но тут веб-камерой никак не обойтись.

В любом случае, при желании устроиться на работу по данной специальности твой опыт будет большим плюсом.

[Cfr 1]

А что вы думаете о задаче дополнения реальности (Augmented reality)? Недавно обнаружил, что большое количество маленьких и довольно больших проектов начинает выпускаться в которых используется дополнение реальности. К примеру тот проект от PleyStation о котором я писал на форуме http://www.compvision.ru/forum/index.php?showtopic=143. На западе идет активное изучение данной темы. Многие крупные компании так же ведут разработку, судя по их рекламным роликам.

Не понятно. Кажется, очень перспективное направление, но занимаются им все подряд, любители и коммерческие фирмы. Однако, достаточно общего решения для markerless пока не найдено. Очень много приложений на мобильниках, в рекламе и играх. Опять же, для получения опыта подходит очень хорошо.

Кстати, если кто из Петербурга, скоро буду читать лекцию по AR (классический алгоритм как в ARToolkit + немного BundleAdjustment и SLAM), если интересно -- пишите в личку/cfr.ssvATgmail.com.

Да, их довольно много. Но сложность выхода на рынок определяется не только их количеством. В этой области для клиентов очень важна репутация производителя. Впрочем, полнофункциональную систему видеонаблюдения в одиночку написать просто нереально.

Если же специализироваться только на детекторе движения, то шанс небольшой есть. Продавать его как библиотеку, как продаются библиотеки для распознавания лиц, авто и ж/д номеров и т.п. Но тут веб-камерой никак не обойтись.

В любом случае, при желании устроиться на работу по данной специальности твой опыт будет большим плюсом.

Ну, где ж найти такую работу? Я бы с удовольствием устроился (конечно, если это не институт с <10K зарплатами).

Полнофункциональную --- в каком смысле? Раньше (хотя бы 3 года назад), когда не было OpenCV и других открытых библиотек с реализациями AdaBoost, смесей гауссианов, фильтров Калмана и MCMC, было сложно. А сейчас, это даже бакалавр сделает.

[milk3d 2]

Кстати, если кто из Петербурга, скоро буду читать лекцию по AR (классический алгоритм как в ARToolkit + немного BundleAdjustment и SLAM), если интересно -- пишите в личку/cfr.ssvATgmail.com.

Я любитель и мне эта тема очень интересна, жаль что я не могу послушать лекцию=(

Если вам не трудно не могли бы вы посоветовать материал по этой теме?

[kvarg 0]

2Nuzhny

Меня скорее интересует не построение отличной системы видеонаблюдения, а изучение под данным соусом принципов построениея аппаратных ускорителей. Т.е. проект более академический. Иными словами - мне нужна просто некая интересная прикладная область и цель в ней. В качестве такой области я и выбрал - машинное зрение.

С другой стороны - было бы интересно развивать эту отрасль не в области программирования таких систем на обычных писюках (как делают у нас), а именно исполнения их в одном конструктиве, т.е. построения программно-аппаратных комплексов. Что это за задача - распознавание лиц или система виртуальной реальности дело второе, хотя и не маловажное.

Такая вот прелюдия... Давайте список требований к хорошей системе видеаналитики, буду на него ориентироваться

[Cfr 1]

Я любитель и мне эта тема очень интересна, жаль что я не могу послушать лекцию=(

Если вам не трудно не могли бы вы посоветовать материал по этой теме?

AR --- раздел 3D-зрения, лучшими теоретическими источниками будут [1] и [2]. Ну, это чтобы полностью всё понять, на практике хватит разобраться с главами по 3D проекциям и калибровке камеры в [3] + почитаться статьи (хотя бы википедию) про способ ARToolkit [4]. Кстати, английская страница википедии вроде неплохо всё освещает [5].

Сейчас всё больше хотят перейти на AR без маркеров, для этого пробуют vSLAM (самая известная OSS-система -- monoSLAM [6]) и алгоритмы SFM (например, Bundle Adjustment, есть открытая софтинка PTAM [7]). Кстати, диссертация автора PTAM [8] содержит прекрасный обзор современного состояния AR.

В сети можно найти массу туториалов и курсов, мне очень понравился [9] (отличное краткое введение в 3D трекинг) и [10]. Книги, полностью посвященные AR не смотрел.

Лучше всего, если есть по-настоящему научный интерес, прочесть [1], если исключительно инженерный, поковырять ARToolkit и PTAM, хотя с последним будет сложно без науки разобраться

[1] http://www.robots.ox.ac.uk/~vgg/hzbook/index.html

[2] http://mitpress.mit.edu/catalog/item/defau...2&tid=10195

[3] Стокман, Шапиро ``Компьютерное Зрение''

[4] http://www.hitl.washington.edu/artoolkit/

[5] http://en.wikipedia.org/wiki/Augmented_reality

[6] http://www.doc.ic.ac.uk/~ajd/Scene/download.html

[7] http://www.robots.ox.ac.uk/~gk/PTAM/

[8] http://www.robots.ox.ac.uk/~gk/publication...n2006Thesis.pdf

[9] http://130.203.133.121:8080/viewdoc/summar...=10.1.1.84.8498

[10] http://campar.in.tum.de/Far/AugmentedRealityIISoSe2004

[Nuzhny 243]

Такая вот прелюдия... Давайте список требований к хорошей системе видеаналитики, буду на него ориентироваться

Требования к детектору движения примерно такие:

1. есть/нет движения в кадре;

2. на кадре пользователем добавляются зоны детекции, появляются события детектирования движения в зонах;

3. отсев помех (дождь, снег, теревья, трава, блики);

4. устойчивость к дрожанию камеры;

5. выделение объектов движения, отслеживание их перемещения (переход из зоны в зону, пересечение траекторией движения объектов пользовательских линий);

6. детектирование оставленных, унесённых, перекидываемых через забор предметов;

7. "сквозное" детектирование одного объекта на нескольких камерах;

8. детекция движения на поворотной камере, на панорамном изображении с поворотной камеры;

9. классификация объектов: человек, группа людей, автомобиль;

10. анализ поведения: человек идёт, бежит, бродит туда-сюда, отклонился от допустимой траектории и т.п.;

11. определение закрытия объектива, поворота и засветки камеры;

12. интеграция с поворотными камерами: сопровождение объекта поворотной камерой, когда объект детектируется с видеоканала стационарной камеры, а также сопровождение только одной поворотной камерой - сама и детектирует, и ведёт.

Плюс ко всему выдвигаются нехилые требования по быстродействию: любят некоторые люди на одном компе просматривать и анализировать одновременно, скажем, 12 видеоканалов с ip-камер с разрешением 768х576 + 25 fps. А их перед анализом ещё и разжать надо (а это h.263 или MJPEG какой-нибудь).

Если говорить вообще о видеоаналитике, то, кроме детектора движения, необходима: автояркость, автоконтраст, деинтерлейсинг, распознавание лиц, распознавание авто и ж/д номеров. Зачастую требуется что-то специфическое: подсчёт въезжающих на территорию автомобилей или проезжающих вагонов, тревога при появлении подозрительных лиц на парковке.

Систем, которые полностью удовлетворяют этим требованиям, я пока не видел.

[Nuzhny 243]

Ну, где ж найти такую работу? Я бы с удовольствием устроился (конечно, если это не институт с <10K зарплатами).

Контор много. Если живёшь в одной из столиц, то можно сходить на крупную выставку по безопасности (например, MIPS, Интерполитех и т.п.) и увидеть акул этого бизнеса вживую. Можно на сайтах выставок взять названия контор и целенаправленно пытаться к ним устроиться. В регионах разработчиков намного меньше, но они существуют.

Полнофункциональную --- в каком смысле? Раньше (хотя бы 3 года назад), когда не было OpenCV и других открытых библиотек с реализациями AdaBoost, смесей гауссианов, фильтров Калмана и MCMC, было сложно. А сейчас, это даже бакалавр сделает.

Это ты только про детектор движения говоришь. Сама система видеонаблюдения включает ещё множество функций. Плюс отдельную трудность составляет необходимость поддержки самого разнообразного оборудования, которое ещё и достать непросто. Например, какой-нибудь тепловизор за пол миллиона или поворотную камеру за миллион. Если же ориентироваться на мелких клиентов (аптеки, магазинчики), не требующих ничего, кроме 2-3 камер и архива, то тут рынок завален недорогими DVR-системами. Фиг пробьёшься. Да и китайцы, вроде, поставляют своё оборудование с бесплатным нехитрым ПО. Рынок уже вырос из детского возраста, пробиться непросто.