Перейти к содержимому
Compvision.ru
msorokin

Распознание объектов на видео (стриме)

Recommended Posts

2expres    3
31 минуту назад, msorokin сказал:

В одной области, но могут быть перемешены между собой.

Если объекты абсолютно совпадают по цвету, то можно выполнить предварительную свертку базы объектов и делать такую же свертку объектов на картинке. Далее производишь сравнение сверток. Это значительно ускорит программу. Я думаю здесь подойдет 16 разрядная свертка типа CRC 16, но лучше использовать 32 разряда(CRC 32). 

Т.е. каждый объект будет представлять собой 4 байта. Тогда можно обрабатывать хоть все 60 кадров в секунду.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
msorokin    0

Не подскажите более менее простую сетку для такой задачи?

Yolo оказалась не простой в настройке под Ubuntu Server

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Nuzhny    202
On 27.06.2017 at 11:17 AM, 2expres said:

Если объекты абсолютно совпадают по цвету, то можно выполнить предварительную свертку базы объектов и делать такую же свертку объектов на картинке. Далее производишь сравнение сверток. Это значительно ускорит программу. Я думаю здесь подойдет 16 разрядная свертка типа CRC 16, но лучше использовать 32 разряда(CRC 32). 

Т.е. каждый объект будет представлять собой 4 байта. Тогда можно обрабатывать хоть все 60 кадров в секунду.

Я бы на такое рассчитывать не стал. Какая видеокарта как отрендерит - погрешности будут 100%.

 

40 minutes ago, msorokin said:

Не подскажите более менее простую сетку для такой задачи?

Yolo оказалась не простой в настройке под Ubuntu Server

Предлагаю путь проще, сетка тут и правда не нужна. Что надо:

1. создать датасет из всевозможных значков и картинок, которые надо будет искать;

2. рядом с каждой картинкой создать текстовый документ, в котором указана область изображения, в которой его можно ожидать увидеть.

Далее берём картинку и для каждого шаблона делаем matchTemplate. Всё это можно распараллелить по ядрам просто одной командой openMP. По результатам уже смотреть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2expres    3
В 26.06.2017 at 13:01, Nuzhny сказал:

Обучи нейросеть или возьми готовую, например YOLO.

Интересно, сколько времени будет отрабатывать нейросеть сравнивая 300 возможных объектов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Nuzhny    202
10 minutes ago, 2expres said:

Интересно, сколько времени будет отрабатывать нейросеть сравнивая 300 возможных объектов?

Гораздо интересней, что она не будет этого делать. В разных вариантах может быть последний слой с 300-ми выходами. На каком выходе значение больше, тот и найден. Либо будет вообще один выход, значение которого будет рассматриваться на попадание в один из 300-т диапазонов.

Ещё есть более продвинутые варианты типа Faster R-CNN, которые состоят из 2-х нейросетей: 1-я говорит, что здесь вероятно есть объект, а вторая уже его распознаёт (если он есть). Что-то типа boosting'а.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2expres    3
10 минут назад, Nuzhny сказал:

Гораздо интересней, что она не будет этого делать.

И все-таки я хотел бы получить более конкретный ответ по поводу быстродействия нейросети в данном случае.

 

1 час назад, Nuzhny сказал:

Я бы на такое рассчитывать не стал. Какая видеокарта как отрендерит - погрешности будут 100%.

Как я понимаю, что это задача для одного компьютера, отрабатывать будет одна и та же видеокарта, поэтому предложенный мной подход должен работать. У вас хорошее предложение по поводу распараллеливания задачи. Здесь действительно хорошо можно разбить на потоки. Только я бы для упрощения на потоки посылал разные кадры, т.е. каждое ядро обрабатывает  свой кадр.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Nuzhny    202
1 hour ago, 2expres said:

И все-таки я хотел бы получить более конкретный ответ по поводу быстродействия нейросети в данном случае.

Зависит от сети и оборудования. В любом случае сети практически без разницы сколько типов объектов распознавать: 2, 3, 5 или 100. На вход картинка, внутри выделяются признаки, а классифицирует лишь самый последний слой, который может состоять из одного нейрона.

 

1 hour ago, 2expres said:

Как я понимаю, что это задача для одного компьютера, отрабатывать будет одна и та же видеокарта, поэтому предложенный мной подход должен работать.

Я думаю, что даже смена драйвера может сломать весь подход. Это происходит повсеместно и регулярно: выходит новая ААА-игра, она где-то глючит, неправильно отображается, медленно рендерится. И производители видеокарт оптимизируют драйвера, меняют рендеринг, картинка меняется. Я бы точно не затачивался под точное соответствие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×