Перейти к содержимому
Compvision.ru
msorokin

Распознание объектов на видео (стриме)

Recommended Posts

Добрый день.

Я заранее извиняюсь за, возможно, очень глупый вопрос.

Сразу говорю, я не прошу реализовать все за меня (хотя готов заплатить, если не разберусь сам),
я прошу подтолкнуть начинающего в правильную сторону.

1. Есть видео(mp4), либо видео поток(ts)

2. Есть база известных объектов (изображения) - знаю размер, примерное нахождение на видео.

Задача, как найти объекты по базе на видео и получить их координаты?

Насколько это ресурсоемко? Если на видео может одновременно находиться 20+ объектов?

P.S.: В результате хочу получить текстовые данные, какие объекты присутствуют на видео.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Обучи нейросеть или возьми готовую, например YOLO.

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
17 минут назад, Nuzhny сказал:

Обучи нейросеть или возьми готовую, например YOLO.

Огромное спасибо. Можете мне подсказать как обучается данная нейронная сеть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что за объекты? Это тех процесс или съемка уличного движения? А лучше примеры видео с объектами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
7 minutes ago, msorokin said:

Огромное спасибо. Можете мне подсказать как обучается данная нейронная сеть?

Вообще-то по ссылке последний раздел как раз и посвящён тренировке сети.

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
14 минуты назад, 2expres сказал:

А что за объекты? Это тех процесс или съемка уличного движения? А лучше примеры видео с объектами.

Если вкратце, то на видео онлайн игра. Нужно определять элементы пользовательского интерфейса и подписывать их.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Объекты одного размера? Освещенность одна и та же? Как их планируете сравнивать форма, размер, цвет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 минуты назад, 2expres сказал:

Объекты одного размера? Освещенность одна и та же? Как их планируете сравнивать форма, размер, цвет?

Объекты не подвижны, плоские (2d). Освещенность, форма и цвет неизменны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тогда такая штука как нейросеть может оказаться слишком тяжёлой штукой для такой задачи. Может так получиться, что простая корреляция с шаблоном сработает на отлично.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, Nuzhny сказал:

Тогда такая штука как нейросеть может оказаться слишком тяжёлой штукой для такой задачи. Может так получиться, что простая корреляция с шаблоном сработает на отлично.

Самое главное чтобы это было быстро. Вопрос именно в Real-Time обработке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да, нейронка, в данном случае как из пушки по воробьям, если бы вы изначально подробно описали задачу, то можно было бы найти решение быстрее.

А так да, Nuzhny прав,поиск по шаблону скорее всего будет работать здесь оптимально см.  http://docs.opencv.org/2.4/doc/tutorials/imgproc/histograms/template_matching/template_matching.html 

Если нужно распознавать что заэлемент, а не искать место расположения элемента, тогда можно обучить маленькую трехслойную нейронку..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что понимать под быстро? Какое разрешение, количество кадров в секунду?  Какой проц? 

Можно сравнивать по форме и цвету. Какое количество объектов в базе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
47 минут назад, Smorodov сказал:

Да, нейронка, в данном случае как из пушки по воробьям, если бы вы изначально подробно описали задачу, то можно было бы найти решение быстрее.

А так да, Nuzhny прав,поиск по шаблону скорее всего будет работать здесь оптимально см.  http://docs.opencv.org/2.4/doc/tutorials/imgproc/histograms/template_matching/template_matching.html 

Если нужно распознавать что заэлемент, а не искать место расположения элемента, тогда можно обучить маленькую трехслойную нейронку..

Спасибо. Помогли.

2 минуты назад, 2expres сказал:

Что понимать под быстро? Какое разрешение, количество кадров в секунду?  Какой проц? 

Можно сравнивать по форме и цвету. Какое количество объектов в базе?

В базе порядка 300 объектов.

1024х786

60 кадров в секунду

i5

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Возможно, для ускорения поиска, изображение нужно уменьшить раза в 4, и шаблон также, точность поиска это уменьшить не должно, а искать будет намного быстрее.

Затем просто пересчитать координаты в исходный масштаб.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

1 час назад, msorokin сказал:

Если вкратце, то на видео онлайн игра.

Как я понимаю вашу секретность, Вы наверное решили обыграть онлайн казино?! 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 минуту назад, 2expres сказал:

 

Как я понимаю вашу секретность, Вы наверное решили обыграть онлайн казино?! 

Ни в коем случае.

leagueoflegends-1024x576.thumb.jpg.4b707e62f55a0da781a0d343fd6783f0.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
47 минут назад, Smorodov сказал:

Возможно, для ускорения поиска, изображение нужно уменьшить раза в 4

Изображение итак маленькое, при уменьшении боюсь возникнут сложности с распознаванием объектов. Может лучше прореживать кадры?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Думается это уменьшенное, но не очень сильно. Уменьшать можно до тех пор, пока все объекты которые нужно детектировать различимы.

А пропускать кадры, да еще один хороший способ снизить нагрузку на железо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
15 минут назад, Smorodov сказал:

Думается это уменьшенное, но не очень сильно. Уменьшать можно до тех пор, пока все объекты которые нужно детектировать различимы.

А пропускать кадры, да еще один хороший способ снизить нагрузку на железо.

Да, это приемлемый размер, на котором еще различимы мелкие элементы

23 минуты назад, 2expres сказал:

Изображение итак маленькое, при уменьшении боюсь возникнут сложности с распознаванием объектов. Может лучше прореживать кадры?

Да, действительно, пропускать кадры можно, 60 фпс тут, в принципе, ни к чему. достаточно 3-5 фпс

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Все равно не понятно, какие именно объекты необходимо определять. Для моего понимания автору темы необходимо обвести все объекты видимыми линиями.

Примитивно определять объекты можно по цвету, площади, вытянутости (отношение длинны контура объекта к площади).

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
15 часов назад, 2expres сказал:

Все равно не понятно, какие именно объекты необходимо определять. Для моего понимания автору темы необходимо обвести все объекты видимыми линиями.

Примитивно определять объекты можно по цвету, площади, вытянутости (отношение длинны контура объекта к площади).

Выделилleagueoflegends-1024x576.jpg.7ec29db9ea0d4da35f5b57675f59b47f.thumb.jpg.73ad193161a63e6a7e5ee1409d2d884b.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Т.е. Объекты появляются в одном и том же месте картинки? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, 2expres сказал:

Т.е. Объекты появляются в одном и том же месте картинки? 

В одной области, но могут быть перемешены между собой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У тебя основные объекты имеют размерность 25х25 пикселей. Координаты ты можешь заранее вычислить, где они появляются. Сокращать изображение ни в коем случае нельзя, т.к. различаемость и так не очень. Делай по пиксельное сравнение с базой объектов и программа должна "летать". 23 объекта на  625 пикселей и перебор 300 объектов итого нужно сравнить примерно 9 000 000 пикселей и 3 кадра в секунду ты гарантированно успеешь обработать.

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 минуты назад, 2expres сказал:

У тебя основные объекты имеют размерность 25х25 пикселей. Координаты ты можешь заранее вычислить, где они появляются. Сокращать изображение ни в коем случае нельзя, т.к. различаемость и так не очень. Делай по пиксельное сравнение с базой объектов и программа должна "летать". 23 объекта на  625 пикселей и перебор 300 объектов итого нужно сравнить примерно 9 000 000 пикселей и 3 кадра в секунду ты гарантированно успеешь обработать.

Спасибо

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×