Перейти к содержимому
Compvision.ru
Smorodov

Caffe. gtx 970 учится, gtx1070 не учится.

Recommended Posts

Прикупил еще один GPU, gtx1070  и столкнулся со странным поведением DIGITS. 

Обе карты обе карты видятся  на обеих все запускается без ошибок драйвер 367-й, cuda 8.0, cudnn-v5, ubuntu 14.04 LTS.

Но на одной сеть учится, на другой нет. 

На gtx970

Screenshot from 2016-07-30 11:48:56.png

 

На gtx1070

Screenshot from 2016-07-30 11:51:01.png

Кто нибудь сталкивался с подобным ?

 

UPD: Перестроил caffe со включенным NCCL вроде теперь учится. Но странно все это...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это они обе вставлены? Если протестить по 1 в отдельности?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да обе, сейчас с включенным NCCL работает корректно, видит обе, можно выбрать одну или работать на обеих картах, не хочу переворачивать систему, с трудом запихнул обе карты :) .

Думаю это связано именно с тем что их две.

Но все равно, такое поведение системы мне кажется странным, если не работает, или проблемы какие то, то должно совсем не работать, а не так.  

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну вообще говоря 970 и 1070 - это карты разных поколений(Maxwell и Pascal), т.ч. поведение, при котором без пересборки проекта более новая карта глючит - это в порядке вещей) Тут просто надо взять за правило по отношению к железякам от Nvidia: поставил новую железку, обновил драйвер, пересобрал библиотеки.

з.ы. и как тебе видяха? По моему, 1070/1080 как-то совсем геймерские, а не для DL, уж больно памяти мало...а новых TitanX еще ждать и ждать(

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да запостил Issue на гитхабе, пишут что 0.16 еще сырая.

Попробовал на 0.15 все заработало, но да, все пересобрал и обновил, без этого не видело 1070-ку.

Ну по мне прирост скорости вдвое, что при среднем 10-12 часовом времени обучения очень даже чувствительно.

Да и памяти в 2 раза больше чем на 970, мне пока хватает для текущих нужд.

При совместной загрузке одна карта нагружена 100%, другая 60%, память шарится вроде, так что суммарно 12 Гб получается не так уж плохо.  Хотя плотно еще не тестил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это шарится при каком то специальном multi gpu моде в DIGITS или в caffe  -gpu all ? и загружена на 60 более новая карта?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В DIGITS 4.1, там есть настройка какие карты использовать. 

Да, на 60% загружается новая карта.

Screenshot from 2016-08-02 11:54:42.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 02.08.2016 at 00:17, BeS сказал:

Ну вообще говоря 970 и 1070 - это карты разных поколений(Maxwell и Pascal), т.ч. поведение, при котором без пересборки проекта более новая карта глючит - это в порядке вещей) Тут просто надо взять за правило по отношению к железякам от Nvidia: поставил новую железку, обновил драйвер, пересобрал библиотеки.

з.ы. и как тебе видяха? По моему, 1070/1080 как-то совсем геймерские, а не для DL, уж больно памяти мало...а новых TitanX еще ждать и ждать(

Уже вроде как есть:  

https://www.overclockers.ru/hardnews/77879/nvidia-predstavila-titan-x-na-graficheskom-processore-pascal.html

https://www.overclockers.ru/hardnews/78126/videokarta-nvidia-titan-x-pascal-postupila-v-prodazhu-i-uzhe-est-ee-pervye-igrovye-testy.html

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 hours ago, Smorodov said:

Да, 2 августа стартовали продажи...но там её не укупишь - первые несколько месяцев корпорации будут их раскупать как горячие пирожки

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Цитата

Current implementation has a "soft" assumption that the devices being used are homogeneous. In practice, any devices of the same general class should work together, but performance and total size is limited by the smallest device being used. e.g. if you combine a TitanX and a GTX980, performance will be limited by the 980. Mixing vastly different levels of boards, e.g. Kepler and Fermi, is not supported.

https://github.com/BVLC/caffe/blob/master/docs/multigpu.md

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×