Jump to content
Compvision.ru
mult1plexer

Детектирование глаз

Recommended Posts

Здравствуйте. Никто не знает, чем можно детектировать глаза, помимо cascade haar (opencv) и landmark's моделей? Чем то более стабильным и точным 

Share this post


Link to post
Share on other sites

1. На каком расстоянии и какой размер глаз в пикселях будет на кадре? Глаз - это точка или протяжённый объект?

2. Можно детектировать landmark'и какой-нибудь нейросеткой ( например отсюда ), а потом трекать их, сглаживая погрешности детектора.

Share this post


Link to post
Share on other sites
5 часов назад, Nuzhny сказал:

1. На каком расстоянии и какой размер глаз в пикселях будет на кадре? Глаз - это точка или протяжённый объект?

2. Можно детектировать landmark'и какой-нибудь нейросеткой ( например отсюда ), а потом трекать их, сглаживая погрешности детектора.

1. Расстояние от 90 см до 2 метров. Вообще задача стоит по определению закрыт или открыт глаз + наличие очков с диоптриями от -7 до + 7

2.Ландмарки из коробки имеют очень ограниченные углы обнаружения, срывы наблюдаются уже при отклонении выше 20° и локализовать глаз нет возможности. Трекеры вешал, но они не стабильно работают при повороте головы идет срыв/ложное детектирование

все сетки какие я тестировал тяжелые, необходима работа на отладочной плате с Rockchip rk3399 (нет поддержки cuda, openvino)

Share this post


Link to post
Share on other sites
2 часа назад, mult1plexer сказал:

все сетки какие я тестировал тяжелые, необходима работа на отладочной плате с Rockchip rk3399 (нет поддержки cuda, openvino)

Плата достаточно мощная.

У меня на расберри ведется анализ засыпания водителя. В среднем 11 кадров в сек получаю.

Основная структура проекта (софтерная)

- Поиск головы сомописной сеткой на основе YOLO и CAFFE

- Далее находим глаза, через svm + алгоритмы бинаризации и прочие. На одной сетке точность будет ниже.

Но у меня используется еще ИК подсветка, с ней искать глаза проще.

Share this post


Link to post
Share on other sites
2 часа назад, LexaP сказал:

Плата достаточно мощная.

У меня на расберри ведется анализ засыпания водителя. В среднем 11 кадров в сек получаю.

Основная структура проекта (софтерная)

- Поиск головы сомописной сеткой на основе YOLO и CAFFE

- Далее находим глаза, через svm + алгоритмы бинаризации и прочие. На одной сетке точность будет ниже.

Но у меня используется еще ИК подсветка, с ней искать глаза проще.

1. У меня по тз минимум 25 fps

2. На каком фраймворке YOLO используете, через opencv dnn можно ее загрузить?

3. svm есть для глаз из "коробки"?

4. ик тоже есть, но зрачок это не позволяет найти аналитически, слижком много разных ситуаций, да и детализация не позволяет блики находить или окружность зрачка 

Share this post


Link to post
Share on other sites
16 минут назад, mult1plexer сказал:

1. У меня по тз минимум 25 fps

Думаю на 6-ти ядрах можно сделать.

Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре. 

 

2. На каком фраймворке YOLO используете, через opencv dnn можно ее загрузить?

через OpenCV, но там самописные модули по работе с нейросетью.

3. svm есть для глаз из "коробки"?

Нет, обучение собственное + решения из Машинного Зрения (бинаризация, сегментация, всякие Собель усилители границ....). SVM примерно половину занимает из всего алгоритма анализа зрачка.

4. ик тоже есть, но зрачок это не позволяет найти аналитически, слижком много разных ситуаций, да и детализация не позволяет блики находить или окружность зрачка.

Нужно двигаться постепенно., найти лицо, найти глаз. C ИК можно получить очень хорошие результаты, возможно стоит использовать специальные световые фильтры для ИК

 

Share this post


Link to post
Share on other sites
20 минут назад, LexaP сказал:

 

"Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре"

Это ваш алгоритм или он есть в свободном доступе?

Share this post


Link to post
Share on other sites
11 минуту назад, mult1plexer сказал:

"Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре"

Это ваш алгоритм или он есть в свободном доступе?

Собственная разработка, в свободном доступе нет, так как коммерческий продукт.

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

18 минут назад, mult1plexer сказал:

"Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре"

Это ваш алгоритм или он есть в свободном доступе?

Попробуйте этот вариант

https://github.com/freesouls/face-alignment-at-3000fps

Но мне не понравилось, так как нужно обучать всегда (как я помню)

 

Share this post


Link to post
Share on other sites
2 часа назад, LexaP сказал:

Собственная разработка, в свободном доступе нет, так как коммерческий продукт.

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

Попробуйте этот вариант

https://github.com/freesouls/face-alignment-at-3000fps

Но мне не понравилось, так как нужно обучать всегда (как я помню)

 

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

А что такое "оптимизацией слоев" и что это дает?

Share this post


Link to post
Share on other sites
6 часов назад, mult1plexer сказал:

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

А что такое "оптимизацией слоев" и что это дает?

"поиск инвариантов, исключение лишних звеньев в анализе", "изучение проблем мультиколлинеарности в регрессионных моделях" и так далее....

В итоге получаем быструю модельку, потребляющею минимум ресурсов.

Share this post


Link to post
Share on other sites
10 минут назад, Nuzhny сказал:

LexaP, а этот проект не смотрел? Концепция выглядит очень разумно

Нет.

Попробую проверить, интересно как у меня поведет данное решение.

Спасибо

PS

В поиске глаз, больше всего времени уходит на нахождение головы, а сам глаз найти уже проще путем расчет пропорции его положения на голове.

Share this post


Link to post
Share on other sites
В 16.03.2019 at 23:33, LexaP сказал:

Собственная разработка, в свободном доступе нет, так как коммерческий продукт.

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

а ктати у вас нет демо ролика работы вашего приложения на плате?

Share this post


Link to post
Share on other sites
В 19.03.2019 at 13:32, mult1plexer сказал:

а ктати у вас нет демо ролика работы вашего приложения на плате?

На расберри (старое), но тут оценить сложно скорость.

Отображение идет через веб браузер, обновление станицы раз в сек.

 

Share this post


Link to post
Share on other sites
9 часов назад, LexaP сказал:

На расберри (старое), но тут оценить сложно скорость.

Отображение идет через веб браузер, обновление станицы раз в сек.

 

самого интересного не увидел детекция глаз открыты\закрыты и ландмарк оптимизированный или он только для скорости?

Share this post


Link to post
Share on other sites
5 часов назад, mult1plexer сказал:

самого интересного не увидел детекция глаз открыты\закрыты и ландмарк оптимизированный или он только для скорости?

Показал, то, что было.

Остальное нет смысла показывать, так как там запись с устройства которое поставляется заказчику.

Да и толку нет в этом видео., видео можно смонтировать или еще как то....

Share this post


Link to post
Share on other sites
4 часа назад, LexaP сказал:

Показал, то, что было.

Остальное нет смысла показывать, так как там запись с устройства которое поставляется заказчику.

Да и толку нет в этом видео., видео можно смонтировать или еще как то....

нет я просто хотел сравнить со своим без оптимизаций и тд

Share this post


Link to post
Share on other sites

А в Raspberry можно же воткнуть тот же Intel compute stick и для запуска на нём сеток?

Share this post


Link to post
Share on other sites
3 часа назад, mult1plexer сказал:

нет я просто хотел сравнить со своим без оптимизаций и тд

Могу только биометрию показать на расберри. 

Это серверная реализация нашего модуля

https://face.neurocam.com/#/

 

 

3 часа назад, Nuzhny сказал:

А в Raspberry можно же воткнуть тот же Intel compute stick и для запуска на нём сеток?

Это излишне, проще тогда комп. поставить.

Share this post


Link to post
Share on other sites

я думаю хорошо получилось.

Только я бы посоветовал применить ИК, делать анализ закрытия глаза именно по зрачку, а не в момент смыкания век.

например как на одном из кадров. Глаз открыт, но детекция закрытости..

+ у Вас картинка очень хорошая, в реальности такое наверное не часто будет.

 

Если еще поставить анализ на ГПУ, то вообще будет отлично. Mali-T860MP4 - очень хороший чип

image.png.406de60c813c1823665034bf60ad9e6c.png

Share this post


Link to post
Share on other sites
16 часов назад, LexaP сказал:

Только я бы посоветовал применить ИК, делать анализ закрытия глаза именно по зрачку, а не в момент смыкания век.

например как на одном из кадров. Глаз открыт, но детекция закрытости..

Эти данные нам прислали для обработки, есть видео где ик включено, но не хватает освещения, часть лица темная.

Зрачок не совсем виден, во многих ситуация, например при критических углах. 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now


  • Recently Browsing   0 members

    No registered users viewing this page.

×