BeS
Пользователи-
Количество публикаций
349 -
Зарегистрирован
-
Посещение
-
Days Won
43
Все публикации пользователя BeS
-
Руководствуясь все той-же статьей с хабра, там утверждается, что на TK1 оно работает ~1 секунду на кадр. На хорошей десктопной GPU но в разы быстрее будет...думаю, что ~100ms на кадр.
-
Там говорят, что запускались на Jetson TK1, а это embedded платформа с 1 гигом памяти на всё. Хотя хз сколько они там использовали сверточных слоев. Если там есть простой юзерагайд по сборке/запуску, то могу запустить на чем-нибудь производительном и померять потребление памяти.
-
Сам пока не крутил её, но буквально недавно была статья на хабре: https://habrahabr.ru/company/recognitor/blog/277781/#first_unread
-
Как caffe строит карту смежности для сверточных слоев?
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Не, stride - это параметр, который говорит, с каким шагом по картинке идет свертка. По умолчанию она применяется в каждом пикселе (хотя не уверен, как в caffe реализован краевой эффект, т.ч. по краям может быть есть пиксели, которые не сворачиваются), а страйдом можно сказать, чтобы свертка пименялась, например, к каждому второму пикселю в строке, тогда на выходе мы получим картинку, которая в два раза уже исходной, для столбцов аналогичным образом.- 15 replies
-
- caffe
- deep learning
-
(и ещё %d)
Теги:
-
Как caffe строит карту смежности для сверточных слоев?
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Для каждого сверточного слоя задается желаемой число "нейронов" (задается параметром num_outputs), пулинги и нормализации модифицируют выходы этих нейронов, но не изменяют их количество. На выходе сверточного слоя мы имеем набор карт признаков по числу нейронов. Затем выход со сверточного слоя/relu/pooling подается на вход следующего сверточного слоя. При этом на вход каждого нейрона подается несколько карт признаков с прошлого слоя, к каждой из которых применяется соответствующая свертка, а затем результаты суммируются. И тут вроде бы принято исопльзовать не связь все-со-всеми, а выборочно стыковать свертки с разных слоев...и топология этих связей может задаваться матрицей смежности...но в caffe что-то я не нашел, где это может задаваться, там сверточные слои каким-то "стандартным" способом стыкуются.- 15 replies
-
- caffe
- deep learning
-
(и ещё %d)
Теги:
-
82-84% - это на той базе лиц, где ~2M сэмплов?
-
Кстати, по поводу извращенных методов тренировки. А не пробовал к задаче мультиклассовой классификации применть loss-функцию типа каких-нибудь triplet loss function?
-
Если в валидационную выборку попали объекты одного класса, а алгоритм больше ошибается на объектах другого класса, то возможна такая картина... Грубо говоря: позитивы он обрабатывает корректно всегда, но при этом фолсит на негативах...тогда на баче содержащем в равной степени и негативы и позитивы функция потерь будет иметь значение больше, чем на валидационной выборке, где одни позитивы. Но это пример "из разряда фантастики"
-
Метод Виолы-Джонса (есть пара вопросов)
BeS replied to ViolaJones's topic in Обсуждение общих вопросов
Если что, внесу конструктив: было-бы интересно сравнить работу opencv'шного adaBoost'а с популярным на kaggle XGBoost'ом на задаче детектирования чего нибудь. Плюс, в рамках каскадных подходов сейчас модно пробовать различные способы выбора фич и большинство прорывов совершенных в последние пару лет, были именно за счет фич, при использовании фактически дефолтного adaBoost. Как пример, использовать вместо Хааровских фич генеративные особенности, полученные от Deep Learning'а. Типа модно, молодежно и практически полезно :-) Руками не трогал, но вот тут спидапы выглядят интересно: https://github.com/Celebrandil/CudaSift -
Метод Виолы-Джонса (есть пара вопросов)
BeS replied to ViolaJones's topic in Обсуждение общих вопросов
А смысл оптимизировать вычисление интеграла? Там никакой научной новизны нет. <зануда mode on>Предполагается, что диплом пишут очень умные люди, чтобы подтвердить что они таковыми являются, для магистерской диссертации даже есть формальное требование научной новизны</зануда mode on> -
А чего это они caffe портировать взялись)) MS же утверждали, что их CNTK по скорости рвет кафю как тузик грелку))
-
Метод Виолы-Джонса (есть пара вопросов)
BeS replied to ViolaJones's topic in Обсуждение общих вопросов
Виола Джонс не использует пирамиду, а бегает разными размерами окон и скалирует фичи. -
Всем привет, В теории, если мы знаем размерность Вапника-Червоненкиса для нейронной сети, то мы можем примерно оценить минимальное число сэемплов, необходимое для сходимости нейронной сети. Но на практике я нигде не встречал методов, позволяющих посчитать VC-размерность для сети произвольной топологии. Может кто-то встречал подобные работы? Заранее спасибо.
- 3 replies
-
- deep learning
- cnn
-
(и ещё %d)
Теги:
-
Как посчитать VC-размерность для сверточной сети?
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
VC-размерность применима к любому семейству функций, задающих классификаторы. Для многослойного персептрона вроде как даже существует оценка этой размерности, а вот для конволюшенов что-то не видать. А нужно оно для того, чтобы оценить качество обучаюжщей выборки, т.к. без этого мы возвращаемся к пресловутому вопросу "а давайте возьмем еще пару миллионов сэмплов и посмотрим на сходимость". Такой подход к формированию баз попахивает каким-то шаманством- 3 replies
-
- deep learning
- cnn
-
(и ещё %d)
Теги:
-
Всем привет, Решил я поиграться с разрекламированными DIGITS, но тут возникла проблема: DIGITS не видит GPU устройство, хотя nvcaffe собран с CUDA/cuDNN и `caffe device_query -gpu=0` работает корректно. Может кто-то с таким сталкивался?
-
Короче говоря ошибка оказалась тупой, в PATH не были прописаны пути до cuda sdk, и DIGITS думал, что GPU на ПК нету...решается прописываением правильных eport'ов в .bashrc
-
энергозатраты при обучении глубоких моделей
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Параллелят только по батчу: https://github.com/BVLC/caffe/blob/master/docs/multigpu.md- 17 replies
-
- нейронные сети
- deep learning
-
(и ещё %d)
Теги:
-
энергозатраты при обучении глубоких моделей
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Они потому и дешевые, что уже не актуальны, а после апгрейда кластеров кудато старье девать надо) Ну и карты с рук брать довольно рисковано, т.к. известны случаи, когда китайцы из всякого барахла типа Nvidia GT200 конструируют пародию на топовые GPU)- 17 replies
-
- нейронные сети
- deep learning
-
(и ещё %d)
Теги:
-
энергозатраты при обучении глубоких моделей
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Насчет комплектуахи, кстати, есть вот такая заметка с описанием оптимального железа для "домашнего" ПК под DL: http://pjreddie.com/darknet/hardware-guide/- 17 replies
-
- 2
-
- нейронные сети
- deep learning
-
(и ещё %d)
Теги:
-
Оп, о issue'сах проекта что-то даже не подумал, спасибо за подсказку)
-
DIGITS я из репозитория брал самый свежий, nvcaffe тоже 0.14. На одном из ПК у меня GPU тоже с полпинка взлетели под Ubuntu 15.10, но DIGITS их все равно не видит.
-
энергозатраты при обучении глубоких моделей
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Смотря как мерять. При равном размере батча TitanX быстрее, но разница не поражает воображение (конкретно не бенчмаркал, но по ощущениям разница не больше 10-15% в скорости), при этом на TitanX можно пускать тренировки с большим размером батча, что должно ускорять сходимость обучения вприципе. Это да, самая серьезная проблема. Я в домашнюю числодробилку поставил 980Ti и впринципе её 6Gb мне не хватает (сетками пытаюсь решать задачу стереоматчинга, а там памяти много надо). Можно конечно на несколько GPU раскидать тренировку, но надо учитывать тот факт, что при параллелизме каждая карта будет использоваться не больше, чем самая слабая в пуле. Т.е. к 980Ti в пару нет смысла ставить TitanX, т.к. он будет использоваться только на половину, в полную мощность обе можно заиспользовать только запуская независимые тренировки. Тут еще стоит учитывать, что под несколько видеокарт (особенно Титанов), не всякая материнская плата подойдет и не всякий процессор и там сопровождающей комплектухи придется покупать еще тысяч на 100-150 (для получения максимальной производительности от карт, нужно их в SLI массив объединять, мать брать с с чипсетом x99 и процессор с поддержкой 40-lane PCI-E). Но вообще, по моему, на данный момент для "домашнего использования" сейчас оптимально 980Ti (x2)...ПК на два титана уже сильно не бюджетным получается, а один Титан проигрывает двум 980Ti по скорости, хоть у caffe и фигово пока всё параллелится на несколько GPU. Воткнуть в обычный ПК можно, и в linux она стандартными драйверами от nvidia цепляется "из коробки". Но, крайне не рекомендую их использовать: 1) Она позапрошлого поколения "Fermi", т.ч. не факт, что CUDA версии выше 5.0 на ней заведется, как итог - современный CUDA-код под неё может тупо не собраться из-за нехватки инструкций. 2) Во флопсах 980Ti в 3 раза шустрее M2090- 17 replies
-
- нейронные сети
- deep learning
-
(и ещё %d)
Теги:
-
энергозатраты при обучении глубоких моделей
BeS replied to BeS's topic in Вопросы по нейросетям и ИИ
Вообщем эксперименты показывают, что при 100% нагрузке на GPU, карточки типа 980ti/TitanX таки жрут свои 250W, причем стабильно. В простое и та и другая карта жрут ~18-20W.- 17 replies
-
- нейронные сети
- deep learning
-
(и ещё %d)
Теги:
-
Что-то на двух ПК одно и то же поведение (ОСи U14.04 и U15.10), перезагрузки не помогают, как и принудительный вызов инициализации для GPU'хи...при этом из консоли caffe стартует на GPU нормально...
-
Пару лет назад вот такая статья проскакивала: https://homes.cs.washington.edu/~supasorn/eccv14_totalmoving.pdf На хабре её даже обозревали: https://habrahabr.ru/post/237827/
- 6 replies
-
- 1
-
- point cloud
- mesh
-
(и ещё %d)
Теги: