Перейти к содержимому
Compvision.ru

Recommended Posts

Пусть сам разработчик (привет, BeS) не пишет новость, но нельзя не сказать.

OpenVINO - очень быстрый inference нейросетей на CPU. Его же недавно выложили на Гитхаб (это я не проверял, качал установщик с сайта). Можно легко подключить в качестве backend к OpenCV и нейросети, запускаемые через opencv_dnn ускорятся в разы. Это очень здорово. Мне понадобилось это буквально вчера и оказалось, что через OpenVINO resnet для лиц из OpenCV работает в 3-4 раза быстрее, чем дефолный opencv_dnn! Потом я взял их собственную сеть для детекции лиц и оказалось, что она работает в 10 раз быстрее при той же визуальной точности. Порядок цифр на моём ноуте был примерно такой:

- один кадр на CPU c default opencv_dnn, resnet: >50 млсек;

- один кадр на iGPU c default opencv_dnn, resnet: ~25 млсек;

- один кадр на CPU c OpenVINO backend, resnet: ~15 млсек;

- один кадр на CPU c OpenVINO backend, их сеть: ~5 млсек.

Круто! Ещё в пакете есть openvx, который тоже можно подключить в CMake к OpenCV, но с 4-м OpenCV у меня не завёлся, а на 3-м проверять было лень. Очень радуют новости, когда производители железа раздают оптимизированные библиотеки разработчикам.

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Nuzhny, добрый день! Не часто удаётся поговорить на любимую тему на родном языке, а тут такая замечательная возможность)

Я правильно понимаю, что Вы попробовали использовать dnn с DNN_BACKEND_INFERENCE_ENGINE, используя модель в родном формате (не IR из Model Optimizer)? Интересно посмотреть также на числа с iGPU и OpenVINO backend (как для FP32, так и FP16 точности).

На этом форуме первый раз, но, кажется, задержуть надолго))

Пользуясь случаем, хочу оставить здесь следующую мысль: есть проекты, полезные и нужные, на чью раскрутку, как мне кажется, компаниями тратится очень и очень много денег. Но я бы хотел, чтобы Intel's OpenVINO как пакет, так и его компоненты, набирали популярность засчёт интереса самого пользователя. Хочу видеть не корпоративные посты, а пользовательские. Пусть где-то неточные, но живые. Я, как участник open source проекта , люблю следить за блогами, твитами, постами и комментариями, относящимися к работе моих коллег и непосредственно моей. Иногда даже пользуюсь поиском по коду на GitHub, отслеживая, востребованы ли новые фичи ^_^. Вот что мотивирует, по крайней мере, меня.

п.с. OpenVINO сейчас - поле пасхальных яиц и если разработчик не пишет - он уступает пользователю право первого урожая ;).

И да, я инженер Intel, чтобы развеять подозрения. Занимаюсь нейросетевой хирургией в OpenCV.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Приветствую, Дмитрий!

Я вас заочно знаю: моя коллега создавала issue по поводу ltsm сети и вы ей в итоге помогли с этим. Хорошее дело делаете!

OpenVINO для меня случился очень кстати, потому что есть необходимость быстрого поиска на компьютерах без GPU. Рано или поздно Haar должен был уйти.

16 hours ago, dkurt said:

Я правильно понимаю, что Вы попробовали использовать dnn с DNN_BACKEND_INFERENCE_ENGINE, используя модель в родном формате (не IR из Model Optimizer)? Интересно посмотреть также на числа с iGPU и OpenVINO backend (как для FP32, так и FP16 точности).

Да, я использовал res10_300x300_ssd_iter_140000.caffemodel (кажется, она раньше была в составе OpenCV, но сейчас найти не могу источник). На iGPU с OpenVINO у меня не запустилось с ошибкой: "[WARNING]. Device ID (0x3E9B) not supported. Pretending to behave like SKL GT2."

Родная модель face-detection-retail-0004 также не запустилась с формулировкой: "OpenCV(4.0.0-pre) Error: Assertion failed (Failed to initialize Inference Engine backend: Unknown Layer Type: PriorBoxClustered) in cv::dnn::InfEngineBackendNet::initPlugin, file c:\work\libraries\opencv\opencv\modules\dnn\src\op_inf_engine.cpp, line 502"

Я пока это списываю на тот факт,  что использую не релиз, а из  мастера исходники беру.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да скорее вы нам помогли доделать OpenCV до того состояния, чтобы он заработал с LSTM из TensorFlow ^_^

Quote

"[WARNING]. Device ID (0x3E9B) not supported. Pretending to behave like SKL GT2." 

Тут может быть и так, что графика не поддерживается. Если хотите, уточните пожалуйста модель GPU.

 

Извиняюсь за задержку с ответом.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

GPU у меня Intel UHD 630, что в составе i7-8750H, Windows 10. Есть ноут с Убунтой, но там Sandy Bridge, даже нет смысла  проверять.

Всё равно здорово работает. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×