Jump to content
Compvision.ru
Nuzhny

Intel OpenVINO

Recommended Posts

Пусть сам разработчик (привет, BeS) не пишет новость, но нельзя не сказать.

OpenVINO - очень быстрый inference нейросетей на CPU. Его же недавно выложили на Гитхаб (это я не проверял, качал установщик с сайта). Можно легко подключить в качестве backend к OpenCV и нейросети, запускаемые через opencv_dnn ускорятся в разы. Это очень здорово. Мне понадобилось это буквально вчера и оказалось, что через OpenVINO resnet для лиц из OpenCV работает в 3-4 раза быстрее, чем дефолный opencv_dnn! Потом я взял их собственную сеть для детекции лиц и оказалось, что она работает в 10 раз быстрее при той же визуальной точности. Порядок цифр на моём ноуте был примерно такой:

- один кадр на CPU c default opencv_dnn, resnet: >50 млсек;

- один кадр на iGPU c default opencv_dnn, resnet: ~25 млсек;

- один кадр на CPU c OpenVINO backend, resnet: ~15 млсек;

- один кадр на CPU c OpenVINO backend, их сеть: ~5 млсек.

Круто! Ещё в пакете есть openvx, который тоже можно подключить в CMake к OpenCV, но с 4-м OpenCV у меня не завёлся, а на 3-м проверять было лень. Очень радуют новости, когда производители железа раздают оптимизированные библиотеки разработчикам.

  • Like 1

Share this post


Link to post
Share on other sites

@Nuzhny, добрый день! Не часто удаётся поговорить на любимую тему на родном языке, а тут такая замечательная возможность)

Я правильно понимаю, что Вы попробовали использовать dnn с DNN_BACKEND_INFERENCE_ENGINE, используя модель в родном формате (не IR из Model Optimizer)? Интересно посмотреть также на числа с iGPU и OpenVINO backend (как для FP32, так и FP16 точности).

На этом форуме первый раз, но, кажется, задержуть надолго))

Пользуясь случаем, хочу оставить здесь следующую мысль: есть проекты, полезные и нужные, на чью раскрутку, как мне кажется, компаниями тратится очень и очень много денег. Но я бы хотел, чтобы Intel's OpenVINO как пакет, так и его компоненты, набирали популярность засчёт интереса самого пользователя. Хочу видеть не корпоративные посты, а пользовательские. Пусть где-то неточные, но живые. Я, как участник open source проекта , люблю следить за блогами, твитами, постами и комментариями, относящимися к работе моих коллег и непосредственно моей. Иногда даже пользуюсь поиском по коду на GitHub, отслеживая, востребованы ли новые фичи ^_^. Вот что мотивирует, по крайней мере, меня.

п.с. OpenVINO сейчас - поле пасхальных яиц и если разработчик не пишет - он уступает пользователю право первого урожая ;).

И да, я инженер Intel, чтобы развеять подозрения. Занимаюсь нейросетевой хирургией в OpenCV.

Share this post


Link to post
Share on other sites

Приветствую, Дмитрий!

Я вас заочно знаю: моя коллега создавала issue по поводу ltsm сети и вы ей в итоге помогли с этим. Хорошее дело делаете!

OpenVINO для меня случился очень кстати, потому что есть необходимость быстрого поиска на компьютерах без GPU. Рано или поздно Haar должен был уйти.

16 hours ago, dkurt said:

Я правильно понимаю, что Вы попробовали использовать dnn с DNN_BACKEND_INFERENCE_ENGINE, используя модель в родном формате (не IR из Model Optimizer)? Интересно посмотреть также на числа с iGPU и OpenVINO backend (как для FP32, так и FP16 точности).

Да, я использовал res10_300x300_ssd_iter_140000.caffemodel (кажется, она раньше была в составе OpenCV, но сейчас найти не могу источник). На iGPU с OpenVINO у меня не запустилось с ошибкой: "[WARNING]. Device ID (0x3E9B) not supported. Pretending to behave like SKL GT2."

Родная модель face-detection-retail-0004 также не запустилась с формулировкой: "OpenCV(4.0.0-pre) Error: Assertion failed (Failed to initialize Inference Engine backend: Unknown Layer Type: PriorBoxClustered) in cv::dnn::InfEngineBackendNet::initPlugin, file c:\work\libraries\opencv\opencv\modules\dnn\src\op_inf_engine.cpp, line 502"

Я пока это списываю на тот факт,  что использую не релиз, а из  мастера исходники беру.

Share this post


Link to post
Share on other sites

Да скорее вы нам помогли доделать OpenCV до того состояния, чтобы он заработал с LSTM из TensorFlow ^_^

Quote

"[WARNING]. Device ID (0x3E9B) not supported. Pretending to behave like SKL GT2." 

Тут может быть и так, что графика не поддерживается. Если хотите, уточните пожалуйста модель GPU.

 

Извиняюсь за задержку с ответом.

 

Share this post


Link to post
Share on other sites

GPU у меня Intel UHD 630, что в составе i7-8750H, Windows 10. Есть ноут с Убунтой, но там Sandy Bridge, даже нет смысла  проверять.

Всё равно здорово работает. 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now


  • Recently Browsing   0 members

    No registered users viewing this page.

×