Nuzhny 243 Жалоба Опубликовано April 15, 2014 Дело в том, что у меня из вычислительных ресурсов доступен на текущий момент только ноутбук с i5 поколения SandyBridge. Негусто, но для многих вещей хватает. Но, конечно, не для адски долгого процесса обучения каскадов Хаара, который ещё (собака!) не параллелится. У кого-нибудь есть опыт использования для подобных целей внешних вычислительных ресурсов? Например того же амазоновского EC2. Интересно всё: насколько быстрые у них процессора, как долго они обсчитывают обучение того же Хаара, какие опции выбирали (память, ядра, диск), пробовали ли арендовать видеокарту... Может быть есть опыт использования других ресурсов? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано April 15, 2014 опыта нет, но есть интерес. есть еще аналоги windows asure и picloud (хотя он на базе амазона похоже) picloud opencv поддерживает из коробки. http://support.picloud.com/entries/20456093-OpenCV-library есть еще такой пример использования https://github.com/Itseez/opencv/blob/master/samples/python2/digits_adjust.py Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Smorodov 579 Жалоба Опубликовано April 15, 2014 Я тоже давно поглядываю в эту сторону, но все как-то руки не дойдут. Насколько я понял, в облачных вычислениях используются скриптовые языки, вроде питона, насколько все это подходит под задачи машинного зрения без значительного допиливания сказать сложно. У амазона за бесплатно не так уж и много: 750 часов времени на месяц (в принципе норм.), 613 MB оперативки (маловато для каскадов). http://aws.amazon.com/free/ Но есть свободное ПО которое позволяет организовать облако на своем компе и потерзать его. Если кому интересно еще курс на coursera скоро начнется по облачным вычисления для мобильных девайсов: https://www.coursera.org/course/mobilecloud Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано April 15, 2014 Я согласен не за бесплатно, оно окупит своё. Знать бы как это ещё использовать. Windows мне однозначно не нужен, т.к. тестовая выборка создаётся самописными bash-скриптами. Windows в последнее время вообще стал мне как-то неудобен: и возможности по автоматизации повседнемных действий программиста бедноваты, и многие проекты открытые идут исключительно под Линукс. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано April 18, 2014 В результате я остановился на Digitalocean. Сервис создан специально для разработтчиков, удобный, на первый взгляд дешевле Амазона. Оплачивать можно также через PayPal. Выбрал в качесттве виртуалки Ubuntu, работа через консоль по ssh. Каскады Хаара и LBP уже обучаются, следить за прогрессом можно с любого места, где есть интернет (даже с телефона). P.S. Зарегистрироваться на Амазоне что-то не получилось, никак на телефон не присылал код для подтверждения кредитки. 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
BeS 53 Жалоба Опубликовано April 18, 2014 В результате я остановился на Digitalocean. Сервис создан специально для разработтчиков, удобный, на первый взгляд дешевле Амазона. Оплачивать можно также через PayPal. Выбрал в качесттве виртуалки Ubuntu, работа через консоль по ssh. Каскады Хаара и LBP уже обучаются, следить за прогрессом можно с любого места, где есть интернет (даже с телефона). P.S. Зарегистрироваться на Амазоне что-то не получилось, никак на телефон не присылал код для подтверждения кредитки. А не подскажете на каких условиях они предоставляют свое облако(ограничения на энвайромент, стоимость аренды и выдаваемые за эти деньги ресурсы etc)? Что-то не нашел на их сайте этой информации. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано April 18, 2014 А не подскажете на каких условиях они предоставляют свое облако(ограничения на энвайромент, стоимость аренды и выдаваемые за эти деньги ресурсы etc)? Что-то не нашел на их сайте этой информации. В самом верху страницы ссылка с названием Pricing. Там всё подробно расписано (не пропусти ссылку "View our high volume packages", если актуальны большие мощности). Выбор операционки можно увидеть на ролике на главной странице. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
BeS 53 Жалоба Опубликовано April 18, 2014 В самом верху страницы ссылка с названием Pricing. Там всё подробно расписано (не пропусти ссылку "View our high volume packages", если актуальны большие мощности). Выбор операционки можно увидеть на ролике на главной странице. Спасибо! Что-то так себе мощности для Computer Vision...20 ядер CPU это совсем не серьезно, да и без GPU... Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано April 18, 2014 Ну, я слабо представляю себе задачу, которую надо распараллеливать на большее число ядер. Если есть несколько достаточно больших задач, то можно и несколько машин арендовать. А на счёт видеокарт - согласен, их уже надо бы ставить для использования в облаках. Ноо тут я знаю только Амазон. Мне же для текущей задачи они не нужны. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано April 18, 2014 меня интересует вопрос можно ли на базе этого сделать такую систему, что допустим мы храним на сервере картинки, есть некая вебформа чтобы пользователь загрузил картинку и осуществляем поиск по базе, чтобы сервер был доступен по какому то адресу всем. что то примерно такое http://www.clarifai.com/ есть ли ограничения по софту, который туда можно поставить? можно ли там расширять мощности не меняя настроенную систему? т.е. сначала настроить систему на самом дешевом, а потом перезапустить на мощном. и можно ли расширить например только диск или память? еще интересно посчитать сколько будет стоить собрать примерно такой агрегат на коленке? я так понимаю всё будет упираться в серверные платы (для поддержки большого кол-ва памяти и ядер)? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано April 18, 2014 да вот еще http://cloudcv.org/ правда тут всего 2 задачи которые они решают и это просто api. и то в интерфейсе у них не работает, вообщем как то сыро. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано April 18, 2014 На Амазоне всё это сделать легко, тот же Dropbox работает как раз на их мощностях, своих датацентров не имеет. Возможно, что тебе для начала надо просто арендовать свой хостинг. Всё зависит от задач, планов и т.п. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано April 18, 2014 так дело в том, что я не знаю на чем это всё делается, это какое то серверное приложение, есть веб форма и есть грубо говоря управляющая программа и база данных и как то всё это взаимодействует.Просто может быть есть какие то относительно готовые решения, которые надо просто настроить. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано April 18, 2014 Про готовые я не в курсе, никогда не имел дела с вебом. Облачные вычисления, которые нужны мне, представляют собой просто виртуальную машину с чистой операционкой. Я туда ставлю что угодно, взаимодействие по сети, только Линукс, только консоль. Тебе, скорее всего, надо тоже самое: поставить туда http сервер (Апач, например), базу данных, написать серверный код (на PHP, например), который будет выдавать странички и дёргать программу на плюсах для расчётов. В теории всё просто, но конкретные технологии и подходы мне неизвестны, надо пошариться по сети, почитать мануалы. Посмотри, что такое LAMP и с чем его едят. 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Smorodov 579 Жалоба Опубликовано April 18, 2014 GPU - шные облака: http://www.nvidia.com/object/gpu-cloud-computing-services.html 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
iskees 32 Жалоба Опубликовано April 19, 2014 Если не нужны большие вычислительные ресурсы и вы пишете под винду(хотя там и линукс образы есть) то стоит посмотреть в сторону azure. Пишете asp.net приложение в которое можно встроить и саму обработку (opencv работает без проблем) и для развертывания нужно будет только загрузить пакет, настраивать ничего не надо. Если нужно что то специфическое то там есть обычный rdp доступ и ставьте туда что хотите. Да и цены ниже чем у амазона но нет действительно мощных машин. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано May 21, 2014 тут например выбрали windows server, но подробности какие то невнятные. http://habrahabr.ru/post/223441/ 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Nuzhny 243 Жалоба Опубликовано May 21, 2014 А по-моему вполне внятные: Хочется рассказать еще и о том, как мы — программисты, ворочающие нос от интернет технологий и Linux, — решали проблему с сервером. Это просто классические десктопные виндовс-программисты. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
iskees 32 Жалоба Опубликовано May 21, 2014 тут например выбрали windows server, но подробности какие то невнятные. http://habrahabr.ru/post/223441/ Забавно, точно такую же штуку год назад делал и тоже на azure. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано May 21, 2014 а расскажите подробнее. можно только на C#? насколько много надо писать client и server кода, на чем делается интерфейс. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
iskees 32 Жалоба Опубликовано May 21, 2014 Самый просто путь это asp.net те кто с ним знакомы напишут серверную часть за пол часа. Создается control(для начало можно изменить фиолетовый)который принимает post запрос с файлом и вьюшку которая будет показывать результат. у меня все серверная часть выглядит так public ActionResult Index(HttpPostedFileBase file) { if (file != null && file.ContentLength > 0) { ....вызов распознавания из .net библиотеки передача результата во вьюшку ViewData.Add("Verification", vs); ViewData.Add("number", text); w.Stop(); ViewData.Add("time", w.ElapsedMilliseconds); up = true; }; ViewData.Add("upload", up); return View("Result"); } Библиотека может быть не только на C#, а любая .net в том числе и С++ CLR. но если библиотека не .net то вместо обращения к библиотеке можно запустить любой exeшник в виде процесса передав ему фотографию. Ну или можно запустить отдельно программку которая сканируется папочку и когда находит новый файл обрабатывает его и записывает результат в тоже в файл, а asp.net просто сохраняет файл и ждет пока появится результат. Клиентскую часть я не делал ограничился простой вьюшкой. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано May 22, 2014 хмм помниться я делал проект на C#, который имел тип webproject или как то так, смысл всего лишь был в том, чтобы интерфейс был через браузер, а не через winforms, и мне приходилось его каждый раз компилировать чтобы запустить, хотя по идее надо было и можно было к нему обращаться по сети. а чем плоха та форма что вы сделали? что тогда значит клиентская часть? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
iskees 32 Жалоба Опубликовано May 22, 2014 хмм помниться я делал проект на C#, который имел тип webproject или как то так, смысл всего лишь был в том, чтобы интерфейс был через браузер, а не через winforms, и мне приходилось его каждый раз компилировать чтобы запустить, хотя по идее надо было и можно было к нему обращаться по сети. а чем плоха та форма что вы сделали? что тогда значит клиентская часть? webproject нужно публиковать на IIS, по сути это просто dllка, да и asp.net приложение для azure тоже dllка. Когда вы запускали это проект в визуал студии она запускала локальный аналог iis и крутила там ваш сайт. Под клиентом я имел ввиду приложение под андроид( как в проекте который описан на хабре) или винду которое бы отправляло пост запрос и получало ответ. "а чем плоха та форма что вы сделали".Да ничем не плоха, я просто смотрел что за зверь такой azure. Облачное распознавание номеров пока никому не нужно. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано May 30, 2014 https://toster.ru/q/43716 GPU мощности по идее, если будет что то готовое, аля запустил и всё и не будет требовать много данных с собой в придачу, то можно еще на каком нибудь overclockers.ru запостить для тестирования, хотя там скорее просто user high end, а не серверные научные аля http://www.colfax-intl.com/ms/tesla/2128-CXT8000.html. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
mrgloom 242 Жалоба Опубликовано July 23, 2014 ML на базе Asure на базе R https://projectbotticelli.com/knowledge/brief-introduction-to-microsoft-azure-ml http://azure.microsoft.com/en-us/services/machine-learning/ 1 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах