Детектирование глаз

[mult1plexer 1]

Здравствуйте. Никто не знает, чем можно детектировать глаза, помимо cascade haar (opencv) и landmark's моделей? Чем то более стабильным и точным 

[Nuzhny 243]

1. На каком расстоянии и какой размер глаз в пикселях будет на кадре? Глаз - это точка или протяжённый объект?

2. Можно детектировать landmark'и какой-нибудь нейросеткой ( например отсюда ), а потом трекать их, сглаживая погрешности детектора.

[mult1plexer 1]

5 часов назад, Nuzhny сказал:

1. На каком расстоянии и какой размер глаз в пикселях будет на кадре? Глаз - это точка или протяжённый объект?

2. Можно детектировать landmark'и какой-нибудь нейросеткой ( например отсюда ), а потом трекать их, сглаживая погрешности детектора.

1. Расстояние от 90 см до 2 метров. Вообще задача стоит по определению закрыт или открыт глаз + наличие очков с диоптриями от -7 до + 7

2.Ландмарки из коробки имеют очень ограниченные углы обнаружения, срывы наблюдаются уже при отклонении выше 20° и локализовать глаз нет возможности. Трекеры вешал, но они не стабильно работают при повороте головы идет срыв/ложное детектирование

все сетки какие я тестировал тяжелые, необходима работа на отладочной плате с Rockchip rk3399 (нет поддержки cuda, openvino)

[LexaP 5]

2 часа назад, mult1plexer сказал:

все сетки какие я тестировал тяжелые, необходима работа на отладочной плате с Rockchip rk3399 (нет поддержки cuda, openvino)

Плата достаточно мощная.

У меня на расберри ведется анализ засыпания водителя. В среднем 11 кадров в сек получаю.

Основная структура проекта (софтерная)

- Поиск головы сомописной сеткой на основе YOLO и CAFFE

- Далее находим глаза, через svm + алгоритмы бинаризации и прочие. На одной сетке точность будет ниже.

Но у меня используется еще ИК подсветка, с ней искать глаза проще.

[mult1plexer 1]

2 часа назад, LexaP сказал:

Плата достаточно мощная.

У меня на расберри ведется анализ засыпания водителя. В среднем 11 кадров в сек получаю.

Основная структура проекта (софтерная)

- Поиск головы сомописной сеткой на основе YOLO и CAFFE

- Далее находим глаза, через svm + алгоритмы бинаризации и прочие. На одной сетке точность будет ниже.

Но у меня используется еще ИК подсветка, с ней искать глаза проще.

1. У меня по тз минимум 25 fps

2. На каком фраймворке YOLO используете, через opencv dnn можно ее загрузить?

3. svm есть для глаз из "коробки"?

4. ик тоже есть, но зрачок это не позволяет найти аналитически, слижком много разных ситуаций, да и детализация не позволяет блики находить или окружность зрачка 

[LexaP 5]

16 минут назад, mult1plexer сказал:

1. У меня по тз минимум 25 fps

Думаю на 6-ти ядрах можно сделать.

Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре. 

 

2. На каком фраймворке YOLO используете, через opencv dnn можно ее загрузить?

через OpenCV, но там самописные модули по работе с нейросетью.

3. svm есть для глаз из "коробки"?

Нет, обучение собственное + решения из Машинного Зрения (бинаризация, сегментация, всякие Собель усилители границ....). SVM примерно половину занимает из всего алгоритма анализа зрачка.

4. ик тоже есть, но зрачок это не позволяет найти аналитически, слижком много разных ситуаций, да и детализация не позволяет блики находить или окружность зрачка.

Нужно двигаться постепенно., найти лицо, найти глаз. C ИК можно получить очень хорошие результаты, возможно стоит использовать специальные световые фильтры для ИК

 

[mult1plexer 1]

20 минут назад, LexaP сказал:

 

"Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре"

Это ваш алгоритм или он есть в свободном доступе?

[LexaP 5]

11 минуту назад, mult1plexer сказал:

"Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре"

Это ваш алгоритм или он есть в свободном доступе?

Собственная разработка, в свободном доступе нет, так как коммерческий продукт.

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

18 минут назад, mult1plexer сказал:

"Например этот алгоритм c адаптацией под ARM выдает 100-150 fps на i5 процессоре"

Это ваш алгоритм или он есть в свободном доступе?

Попробуйте этот вариант

https://github.com/freesouls/face-alignment-at-3000fps

Но мне не понравилось, так как нужно обучать всегда (как я помню)

 

[mult1plexer 1]

2 часа назад, LexaP сказал:

Собственная разработка, в свободном доступе нет, так как коммерческий продукт.

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

Попробуйте этот вариант

https://github.com/freesouls/face-alignment-at-3000fps

Но мне не понравилось, так как нужно обучать всегда (как я помню)

 

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

А что такое "оптимизацией слоев" и что это дает?

[LexaP 5]

6 часов назад, mult1plexer сказал:

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

А что такое "оптимизацией слоев" и что это дает?

"поиск инвариантов, исключение лишних звеньев в анализе", "изучение проблем мультиколлинеарности в регрессионных моделях" и так далее....

В итоге получаем быструю модельку, потребляющею минимум ресурсов.

[Nuzhny 243]

LexaP, а этот проект не смотрел? Концепция выглядит очень разумно

[LexaP 5]

10 минут назад, Nuzhny сказал:

LexaP, а этот проект не смотрел? Концепция выглядит очень разумно

Нет.

Попробую проверить, интересно как у меня поведет данное решение.

Спасибо

PS

В поиске глаз, больше всего времени уходит на нахождение головы, а сам глаз найти уже проще путем расчет пропорции его положения на голове.

[mult1plexer 1]

В 16.03.2019 at 23:33, LexaP сказал:

Собственная разработка, в свободном доступе нет, так как коммерческий продукт.

Моделька для рисования точек взята из DLIB с "оптимизацией слоев".

а ктати у вас нет демо ролика работы вашего приложения на плате?

[LexaP 5]

В 19.03.2019 at 13:32, mult1plexer сказал:

а ктати у вас нет демо ролика работы вашего приложения на плате?

На расберри (старое), но тут оценить сложно скорость.

Отображение идет через веб браузер, обновление станицы раз в сек.

 

[mult1plexer 1]

9 часов назад, LexaP сказал:

На расберри (старое), но тут оценить сложно скорость.

Отображение идет через веб браузер, обновление станицы раз в сек.

 

самого интересного не увидел детекция глаз открыты\закрыты и ландмарк оптимизированный или он только для скорости?

[LexaP 5]

5 часов назад, mult1plexer сказал:

самого интересного не увидел детекция глаз открыты\закрыты и ландмарк оптимизированный или он только для скорости?

Показал, то, что было.

Остальное нет смысла показывать, так как там запись с устройства которое поставляется заказчику.

Да и толку нет в этом видео., видео можно смонтировать или еще как то....

[mult1plexer 1]

4 часа назад, LexaP сказал:

Показал, то, что было.

Остальное нет смысла показывать, так как там запись с устройства которое поставляется заказчику.

Да и толку нет в этом видео., видео можно смонтировать или еще как то....

нет я просто хотел сравнить со своим без оптимизаций и тд

[Nuzhny 243]

А в Raspberry можно же воткнуть тот же Intel compute stick и для запуска на нём сеток?

[LexaP 5]

3 часа назад, mult1plexer сказал:

нет я просто хотел сравнить со своим без оптимизаций и тд

Могу только биометрию показать на расберри. 

Это серверная реализация нашего модуля

https://face.neurocam.com/#/

 

 

3 часа назад, Nuzhny сказал:

А в Raspberry можно же воткнуть тот же Intel compute stick и для запуска на нём сеток?

Это излишне, проще тогда комп. поставить.

[mult1plexer 1]

старая реализация, работа двух камер одновременно, чип rk3399.

1.mp4

[LexaP 5]

я думаю хорошо получилось.

Только я бы посоветовал применить ИК, делать анализ закрытия глаза именно по зрачку, а не в момент смыкания век.

например как на одном из кадров. Глаз открыт, но детекция закрытости..

+ у Вас картинка очень хорошая, в реальности такое наверное не часто будет.

 

Если еще поставить анализ на ГПУ, то вообще будет отлично. Mali-T860MP4 - очень хороший чип

[mult1plexer 1]

16 часов назад, LexaP сказал:

Только я бы посоветовал применить ИК, делать анализ закрытия глаза именно по зрачку, а не в момент смыкания век.

например как на одном из кадров. Глаз открыт, но детекция закрытости..

Эти данные нам прислали для обработки, есть видео где ик включено, но не хватает освещения, часть лица темная.

Зрачок не совсем виден, во многих ситуация, например при критических углах.