Jump to content
Compvision.ru
Sign in to follow this  

Recommended Posts

Дело в том, что у меня из вычислительных ресурсов доступен на текущий момент только ноутбук с i5 поколения SandyBridge. Негусто, но для многих вещей хватает.

Но, конечно, не для адски долгого процесса обучения каскадов Хаара, который ещё (собака!) не параллелится. У кого-нибудь есть опыт использования для подобных целей внешних вычислительных ресурсов? Например того же амазоновского EC2.

Интересно всё: насколько быстрые у них процессора, как долго они обсчитывают обучение того же Хаара, какие опции выбирали (память, ядра, диск), пробовали ли арендовать видеокарту...

Может быть есть опыт использования других ресурсов?

Share this post


Link to post
Share on other sites

опыта нет, но есть интерес.

есть еще аналоги windows asure и picloud (хотя он на базе амазона похоже)

picloud opencv поддерживает из коробки.

http://support.picloud.com/entries/20456093-OpenCV-library

есть еще такой пример использования

https://github.com/Itseez/opencv/blob/master/samples/python2/digits_adjust.py

Share this post


Link to post
Share on other sites

Я тоже давно поглядываю в эту сторону, но все как-то руки не дойдут.

Насколько я понял, в облачных вычислениях используются скриптовые языки, вроде питона, насколько все это подходит под задачи машинного зрения без значительного допиливания сказать сложно.

У амазона за бесплатно не так уж и много:

750 часов времени на месяц (в принципе норм.), 613 MB оперативки (маловато для каскадов).

http://aws.amazon.com/free/

Но есть свободное ПО которое позволяет организовать облако на своем компе и потерзать его.

Если кому интересно еще курс на coursera скоро начнется по облачным вычисления для мобильных девайсов:

https://www.coursera.org/course/mobilecloud

Share this post


Link to post
Share on other sites

Я согласен не за бесплатно, оно окупит своё. Знать бы как это ещё использовать.

Windows мне однозначно не нужен, т.к. тестовая выборка создаётся самописными bash-скриптами. Windows в последнее время вообще стал мне как-то неудобен: и возможности по автоматизации повседнемных действий программиста бедноваты, и многие проекты открытые идут исключительно под Линукс.

Share this post


Link to post
Share on other sites

В результате я остановился на Digitalocean.

Сервис создан специально для разработтчиков, удобный, на первый взгляд дешевле Амазона. Оплачивать можно также через PayPal.

Выбрал в качесттве виртуалки Ubuntu, работа через консоль по ssh. Каскады Хаара и LBP уже обучаются, следить за прогрессом можно с любого места, где есть интернет (даже с телефона).

P.S. Зарегистрироваться на Амазоне что-то не получилось, никак на телефон не присылал код для подтверждения кредитки.

  • Like 1

Share this post


Link to post
Share on other sites

В результате я остановился на Digitalocean.

Сервис создан специально для разработтчиков, удобный, на первый взгляд дешевле Амазона. Оплачивать можно также через PayPal.

Выбрал в качесттве виртуалки Ubuntu, работа через консоль по ssh. Каскады Хаара и LBP уже обучаются, следить за прогрессом можно с любого места, где есть интернет (даже с телефона).

P.S. Зарегистрироваться на Амазоне что-то не получилось, никак на телефон не присылал код для подтверждения кредитки.

А не подскажете на каких условиях они предоставляют свое облако(ограничения на энвайромент, стоимость аренды и выдаваемые за эти деньги ресурсы etc)? Что-то не нашел на их сайте этой информации.

Share this post


Link to post
Share on other sites

А не подскажете на каких условиях они предоставляют свое облако(ограничения на энвайромент, стоимость аренды и выдаваемые за эти деньги ресурсы etc)? Что-то не нашел на их сайте этой информации.

В самом верху страницы ссылка с названием Pricing. Там всё подробно расписано (не пропусти ссылку "View our high volume packages", если актуальны большие мощности). Выбор операционки можно увидеть на ролике на главной странице.

Share this post


Link to post
Share on other sites

В самом верху страницы ссылка с названием Pricing. Там всё подробно расписано (не пропусти ссылку "View our high volume packages", если актуальны большие мощности). Выбор операционки можно увидеть на ролике на главной странице.

Спасибо! Что-то так себе мощности для Computer Vision...20 ядер CPU это совсем не серьезно, да и без GPU...

Share this post


Link to post
Share on other sites

Ну, я слабо представляю себе задачу, которую надо распараллеливать на большее число ядер. Если есть несколько достаточно больших задач, то можно и несколько машин арендовать.

А на счёт видеокарт - согласен, их уже надо бы ставить для использования в облаках. Ноо тут я знаю только Амазон. Мне же для текущей задачи они не нужны.

Share this post


Link to post
Share on other sites

меня интересует вопрос можно ли на базе этого сделать такую систему, что допустим мы храним на сервере картинки, есть некая вебформа чтобы пользователь загрузил картинку и осуществляем поиск по базе, чтобы сервер был доступен по какому то адресу всем.

что то примерно такое http://www.clarifai.com/

есть ли ограничения по софту, который туда можно поставить?

можно ли там расширять мощности не меняя настроенную систему? т.е. сначала настроить систему на самом дешевом, а потом перезапустить на мощном.

и можно ли расширить например только диск или память?

еще интересно посчитать сколько будет стоить собрать примерно такой агрегат на коленке?

я так понимаю всё будет упираться в серверные платы (для поддержки большого кол-ва памяти и ядер)?

Share this post


Link to post
Share on other sites

да вот еще

http://cloudcv.org/

правда тут всего 2 задачи которые они решают и это просто api.

и то в интерфейсе у них не работает, вообщем как то сыро.

Share this post


Link to post
Share on other sites

На Амазоне всё это сделать легко, тот же Dropbox работает как раз на их мощностях, своих датацентров не имеет. Возможно, что тебе для начала надо просто арендовать свой хостинг. Всё зависит от задач, планов и т.п.

Share this post


Link to post
Share on other sites

так дело в том, что я не знаю на чем это всё делается, это какое то серверное приложение, есть веб форма и есть грубо говоря управляющая программа и база данных и как то всё это взаимодействует.Просто может быть есть какие то относительно готовые решения, которые надо просто настроить.

Share this post


Link to post
Share on other sites

Про готовые я не в курсе, никогда не имел дела с вебом.

Облачные вычисления, которые нужны мне, представляют собой просто виртуальную машину с чистой операционкой. Я туда ставлю что угодно, взаимодействие по сети, только Линукс, только консоль.

Тебе, скорее всего, надо тоже самое: поставить туда http сервер (Апач, например), базу данных, написать серверный код (на PHP, например), который будет выдавать странички и дёргать программу на плюсах для расчётов. В теории всё просто, но конкретные технологии и подходы мне неизвестны, надо пошариться по сети, почитать мануалы. Посмотри, что такое LAMP и с чем его едят.

  • Like 1

Share this post


Link to post
Share on other sites

Если не нужны большие вычислительные ресурсы и вы пишете под винду(хотя там и линукс образы есть) то стоит посмотреть в сторону azure. Пишете asp.net приложение в которое можно встроить и саму обработку (opencv работает без проблем) и для развертывания нужно будет только загрузить пакет, настраивать ничего не надо. Если нужно что то специфическое то там есть обычный rdp доступ и ставьте туда что хотите. Да и цены ниже чем у амазона но нет действительно мощных машин.

Share this post


Link to post
Share on other sites

А по-моему вполне внятные:

Хочется рассказать еще и о том, как мы — программисты, ворочающие нос от интернет технологий и Linux, — решали проблему с сервером.

Это просто классические десктопные виндовс-программисты.

Share this post


Link to post
Share on other sites

тут например выбрали windows server, но подробности какие то невнятные.

http://habrahabr.ru/post/223441/

Забавно, точно такую же штуку год назад делал и тоже на azure.

Share this post


Link to post
Share on other sites

а расскажите подробнее.

можно только на C#? насколько много надо писать client и server кода, на чем делается интерфейс.

Share this post


Link to post
Share on other sites

Самый просто путь это asp.net те кто с ним знакомы напишут серверную часть за пол часа. Создается control(для начало можно изменить фиолетовый)который принимает post запрос с файлом и вьюшку которая будет показывать результат. у меня все серверная часть выглядит так

  

public ActionResult Index(HttpPostedFileBase file)

{

if (file != null && file.ContentLength > 0)

                {

....вызов распознавания из .net библиотеки 

передача результата во вьюшку

   ViewData.Add("Verification", vs);

                     ViewData.Add("number", text);

                     w.Stop();

                     ViewData.Add("time", w.ElapsedMilliseconds);

                     up = true;

          };

          ViewData.Add("upload", up);

            return View("Result");

        }

Библиотека может быть не только на C#, а любая .net в том числе и С++ CLR. но если библиотека не .net то вместо обращения к библиотеке можно запустить любой exeшник в виде процесса передав ему фотографию. Ну или можно запустить отдельно программку которая сканируется папочку и когда находит новый файл обрабатывает его и записывает результат в тоже в файл, а asp.net просто сохраняет файл и ждет пока появится результат.

Клиентскую часть я не делал ограничился простой вьюшкой.

post-5717-0-18167400-1400700041_thumb.jp

Share this post


Link to post
Share on other sites

хмм помниться я делал проект на C#, который имел тип webproject или как то так, смысл всего лишь был в том, чтобы интерфейс был через браузер, а не через winforms, и мне приходилось его каждый раз компилировать чтобы запустить, хотя по идее надо было и можно было к нему обращаться по сети.

а чем плоха та форма что вы сделали? что тогда значит клиентская часть?

Share this post


Link to post
Share on other sites

хмм помниться я делал проект на C#, который имел тип webproject или как то так, смысл всего лишь был в том, чтобы интерфейс был через браузер, а не через winforms, и мне приходилось его каждый раз компилировать чтобы запустить, хотя по идее надо было и можно было к нему обращаться по сети.

а чем плоха та форма что вы сделали? что тогда значит клиентская часть?

webproject нужно публиковать на IIS, по сути это просто dllка, да и asp.net приложение для azure тоже dllка. Когда вы запускали это проект в визуал студии она запускала локальный аналог iis и крутила там ваш сайт.

Под клиентом я имел ввиду приложение под андроид( как в проекте который описан на хабре) или винду которое бы отправляло пост запрос и получало ответ.

"а чем плоха та форма что вы сделали".Да ничем не плоха, я просто смотрел что за зверь такой azure. Облачное распознавание номеров пока никому не нужно.

Share this post


Link to post
Share on other sites

https://toster.ru/q/43716

GPU мощности

по идее, если будет что то готовое, аля запустил и всё и не будет требовать много данных с собой в придачу, то можно еще на каком нибудь overclockers.ru запостить для тестирования, хотя там скорее просто user high end, а не серверные научные аля http://www.colfax-intl.com/ms/tesla/2128-CXT8000.html.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×