Перейти к содержимому
Compvision.ru
Nuzhny

Amazon EC2

Recommended Posts

Дело в том, что у меня из вычислительных ресурсов доступен на текущий момент только ноутбук с i5 поколения SandyBridge. Негусто, но для многих вещей хватает.

Но, конечно, не для адски долгого процесса обучения каскадов Хаара, который ещё (собака!) не параллелится. У кого-нибудь есть опыт использования для подобных целей внешних вычислительных ресурсов? Например того же амазоновского EC2.

Интересно всё: насколько быстрые у них процессора, как долго они обсчитывают обучение того же Хаара, какие опции выбирали (память, ядра, диск), пробовали ли арендовать видеокарту...

Может быть есть опыт использования других ресурсов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

опыта нет, но есть интерес.

есть еще аналоги windows asure и picloud (хотя он на базе амазона похоже)

picloud opencv поддерживает из коробки.

http://support.picloud.com/entries/20456093-OpenCV-library

есть еще такой пример использования

https://github.com/Itseez/opencv/blob/master/samples/python2/digits_adjust.py

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я тоже давно поглядываю в эту сторону, но все как-то руки не дойдут.

Насколько я понял, в облачных вычислениях используются скриптовые языки, вроде питона, насколько все это подходит под задачи машинного зрения без значительного допиливания сказать сложно.

У амазона за бесплатно не так уж и много:

750 часов времени на месяц (в принципе норм.), 613 MB оперативки (маловато для каскадов).

http://aws.amazon.com/free/

Но есть свободное ПО которое позволяет организовать облако на своем компе и потерзать его.

Если кому интересно еще курс на coursera скоро начнется по облачным вычисления для мобильных девайсов:

https://www.coursera.org/course/mobilecloud

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я согласен не за бесплатно, оно окупит своё. Знать бы как это ещё использовать.

Windows мне однозначно не нужен, т.к. тестовая выборка создаётся самописными bash-скриптами. Windows в последнее время вообще стал мне как-то неудобен: и возможности по автоматизации повседнемных действий программиста бедноваты, и многие проекты открытые идут исключительно под Линукс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В результате я остановился на Digitalocean.

Сервис создан специально для разработтчиков, удобный, на первый взгляд дешевле Амазона. Оплачивать можно также через PayPal.

Выбрал в качесттве виртуалки Ubuntu, работа через консоль по ssh. Каскады Хаара и LBP уже обучаются, следить за прогрессом можно с любого места, где есть интернет (даже с телефона).

P.S. Зарегистрироваться на Амазоне что-то не получилось, никак на телефон не присылал код для подтверждения кредитки.

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В результате я остановился на Digitalocean.

Сервис создан специально для разработтчиков, удобный, на первый взгляд дешевле Амазона. Оплачивать можно также через PayPal.

Выбрал в качесттве виртуалки Ubuntu, работа через консоль по ssh. Каскады Хаара и LBP уже обучаются, следить за прогрессом можно с любого места, где есть интернет (даже с телефона).

P.S. Зарегистрироваться на Амазоне что-то не получилось, никак на телефон не присылал код для подтверждения кредитки.

А не подскажете на каких условиях они предоставляют свое облако(ограничения на энвайромент, стоимость аренды и выдаваемые за эти деньги ресурсы etc)? Что-то не нашел на их сайте этой информации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А не подскажете на каких условиях они предоставляют свое облако(ограничения на энвайромент, стоимость аренды и выдаваемые за эти деньги ресурсы etc)? Что-то не нашел на их сайте этой информации.

В самом верху страницы ссылка с названием Pricing. Там всё подробно расписано (не пропусти ссылку "View our high volume packages", если актуальны большие мощности). Выбор операционки можно увидеть на ролике на главной странице.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В самом верху страницы ссылка с названием Pricing. Там всё подробно расписано (не пропусти ссылку "View our high volume packages", если актуальны большие мощности). Выбор операционки можно увидеть на ролике на главной странице.

Спасибо! Что-то так себе мощности для Computer Vision...20 ядер CPU это совсем не серьезно, да и без GPU...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну, я слабо представляю себе задачу, которую надо распараллеливать на большее число ядер. Если есть несколько достаточно больших задач, то можно и несколько машин арендовать.

А на счёт видеокарт - согласен, их уже надо бы ставить для использования в облаках. Ноо тут я знаю только Амазон. Мне же для текущей задачи они не нужны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

меня интересует вопрос можно ли на базе этого сделать такую систему, что допустим мы храним на сервере картинки, есть некая вебформа чтобы пользователь загрузил картинку и осуществляем поиск по базе, чтобы сервер был доступен по какому то адресу всем.

что то примерно такое http://www.clarifai.com/

есть ли ограничения по софту, который туда можно поставить?

можно ли там расширять мощности не меняя настроенную систему? т.е. сначала настроить систему на самом дешевом, а потом перезапустить на мощном.

и можно ли расширить например только диск или память?

еще интересно посчитать сколько будет стоить собрать примерно такой агрегат на коленке?

я так понимаю всё будет упираться в серверные платы (для поддержки большого кол-ва памяти и ядер)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

да вот еще

http://cloudcv.org/

правда тут всего 2 задачи которые они решают и это просто api.

и то в интерфейсе у них не работает, вообщем как то сыро.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На Амазоне всё это сделать легко, тот же Dropbox работает как раз на их мощностях, своих датацентров не имеет. Возможно, что тебе для начала надо просто арендовать свой хостинг. Всё зависит от задач, планов и т.п.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

так дело в том, что я не знаю на чем это всё делается, это какое то серверное приложение, есть веб форма и есть грубо говоря управляющая программа и база данных и как то всё это взаимодействует.Просто может быть есть какие то относительно готовые решения, которые надо просто настроить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Про готовые я не в курсе, никогда не имел дела с вебом.

Облачные вычисления, которые нужны мне, представляют собой просто виртуальную машину с чистой операционкой. Я туда ставлю что угодно, взаимодействие по сети, только Линукс, только консоль.

Тебе, скорее всего, надо тоже самое: поставить туда http сервер (Апач, например), базу данных, написать серверный код (на PHP, например), который будет выдавать странички и дёргать программу на плюсах для расчётов. В теории всё просто, но конкретные технологии и подходы мне неизвестны, надо пошариться по сети, почитать мануалы. Посмотри, что такое LAMP и с чем его едят.

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если не нужны большие вычислительные ресурсы и вы пишете под винду(хотя там и линукс образы есть) то стоит посмотреть в сторону azure. Пишете asp.net приложение в которое можно встроить и саму обработку (opencv работает без проблем) и для развертывания нужно будет только загрузить пакет, настраивать ничего не надо. Если нужно что то специфическое то там есть обычный rdp доступ и ставьте туда что хотите. Да и цены ниже чем у амазона но нет действительно мощных машин.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А по-моему вполне внятные:

Хочется рассказать еще и о том, как мы — программисты, ворочающие нос от интернет технологий и Linux, — решали проблему с сервером.

Это просто классические десктопные виндовс-программисты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тут например выбрали windows server, но подробности какие то невнятные.

http://habrahabr.ru/post/223441/

Забавно, точно такую же штуку год назад делал и тоже на azure.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а расскажите подробнее.

можно только на C#? насколько много надо писать client и server кода, на чем делается интерфейс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Самый просто путь это asp.net те кто с ним знакомы напишут серверную часть за пол часа. Создается control(для начало можно изменить фиолетовый)который принимает post запрос с файлом и вьюшку которая будет показывать результат. у меня все серверная часть выглядит так

  

public ActionResult Index(HttpPostedFileBase file)

{

if (file != null && file.ContentLength > 0)

                {

....вызов распознавания из .net библиотеки 

передача результата во вьюшку

   ViewData.Add("Verification", vs);

                     ViewData.Add("number", text);

                     w.Stop();

                     ViewData.Add("time", w.ElapsedMilliseconds);

                     up = true;

          };

          ViewData.Add("upload", up);

            return View("Result");

        }

Библиотека может быть не только на C#, а любая .net в том числе и С++ CLR. но если библиотека не .net то вместо обращения к библиотеке можно запустить любой exeшник в виде процесса передав ему фотографию. Ну или можно запустить отдельно программку которая сканируется папочку и когда находит новый файл обрабатывает его и записывает результат в тоже в файл, а asp.net просто сохраняет файл и ждет пока появится результат.

Клиентскую часть я не делал ограничился простой вьюшкой.

post-5717-0-18167400-1400700041_thumb.jp

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

хмм помниться я делал проект на C#, который имел тип webproject или как то так, смысл всего лишь был в том, чтобы интерфейс был через браузер, а не через winforms, и мне приходилось его каждый раз компилировать чтобы запустить, хотя по идее надо было и можно было к нему обращаться по сети.

а чем плоха та форма что вы сделали? что тогда значит клиентская часть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

хмм помниться я делал проект на C#, который имел тип webproject или как то так, смысл всего лишь был в том, чтобы интерфейс был через браузер, а не через winforms, и мне приходилось его каждый раз компилировать чтобы запустить, хотя по идее надо было и можно было к нему обращаться по сети.

а чем плоха та форма что вы сделали? что тогда значит клиентская часть?

webproject нужно публиковать на IIS, по сути это просто dllка, да и asp.net приложение для azure тоже dllка. Когда вы запускали это проект в визуал студии она запускала локальный аналог iis и крутила там ваш сайт.

Под клиентом я имел ввиду приложение под андроид( как в проекте который описан на хабре) или винду которое бы отправляло пост запрос и получало ответ.

"а чем плоха та форма что вы сделали".Да ничем не плоха, я просто смотрел что за зверь такой azure. Облачное распознавание номеров пока никому не нужно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

https://toster.ru/q/43716

GPU мощности

по идее, если будет что то готовое, аля запустил и всё и не будет требовать много данных с собой в придачу, то можно еще на каком нибудь overclockers.ru запостить для тестирования, хотя там скорее просто user high end, а не серверные научные аля http://www.colfax-intl.com/ms/tesla/2128-CXT8000.html.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×