Smorodov 578 Report post Posted July 30, 2016 Прикупил еще один GPU, gtx1070 и столкнулся со странным поведением DIGITS. Обе карты обе карты видятся на обеих все запускается без ошибок драйвер 367-й, cuda 8.0, cudnn-v5, ubuntu 14.04 LTS. Но на одной сеть учится, на другой нет. На gtx970 На gtx1070 Кто нибудь сталкивался с подобным ? UPD: Перестроил caffe со включенным NCCL вроде теперь учится. Но странно все это... Share this post Link to post Share on other sites
mrgloom 242 Report post Posted August 1, 2016 Это они обе вставлены? Если протестить по 1 в отдельности? Share this post Link to post Share on other sites
Smorodov 578 Report post Posted August 1, 2016 Да обе, сейчас с включенным NCCL работает корректно, видит обе, можно выбрать одну или работать на обеих картах, не хочу переворачивать систему, с трудом запихнул обе карты . Думаю это связано именно с тем что их две. Но все равно, такое поведение системы мне кажется странным, если не работает, или проблемы какие то, то должно совсем не работать, а не так. Share this post Link to post Share on other sites
BeS 53 Report post Posted August 1, 2016 Ну вообще говоря 970 и 1070 - это карты разных поколений(Maxwell и Pascal), т.ч. поведение, при котором без пересборки проекта более новая карта глючит - это в порядке вещей) Тут просто надо взять за правило по отношению к железякам от Nvidia: поставил новую железку, обновил драйвер, пересобрал библиотеки. з.ы. и как тебе видяха? По моему, 1070/1080 как-то совсем геймерские, а не для DL, уж больно памяти мало...а новых TitanX еще ждать и ждать( Share this post Link to post Share on other sites
Smorodov 578 Report post Posted August 2, 2016 Да запостил Issue на гитхабе, пишут что 0.16 еще сырая. Попробовал на 0.15 все заработало, но да, все пересобрал и обновил, без этого не видело 1070-ку. Ну по мне прирост скорости вдвое, что при среднем 10-12 часовом времени обучения очень даже чувствительно. Да и памяти в 2 раза больше чем на 970, мне пока хватает для текущих нужд. При совместной загрузке одна карта нагружена 100%, другая 60%, память шарится вроде, так что суммарно 12 Гб получается не так уж плохо. Хотя плотно еще не тестил. Share this post Link to post Share on other sites
mrgloom 242 Report post Posted August 2, 2016 Это шарится при каком то специальном multi gpu моде в DIGITS или в caffe -gpu all ? и загружена на 60 более новая карта? Share this post Link to post Share on other sites
Smorodov 578 Report post Posted August 2, 2016 В DIGITS 4.1, там есть настройка какие карты использовать. Да, на 60% загружается новая карта. Share this post Link to post Share on other sites
Smorodov 578 Report post Posted August 5, 2016 В 02.08.2016 at 00:17, BeS сказал: Ну вообще говоря 970 и 1070 - это карты разных поколений(Maxwell и Pascal), т.ч. поведение, при котором без пересборки проекта более новая карта глючит - это в порядке вещей) Тут просто надо взять за правило по отношению к железякам от Nvidia: поставил новую железку, обновил драйвер, пересобрал библиотеки. з.ы. и как тебе видяха? По моему, 1070/1080 как-то совсем геймерские, а не для DL, уж больно памяти мало...а новых TitanX еще ждать и ждать( Уже вроде как есть: https://www.overclockers.ru/hardnews/77879/nvidia-predstavila-titan-x-na-graficheskom-processore-pascal.html https://www.overclockers.ru/hardnews/78126/videokarta-nvidia-titan-x-pascal-postupila-v-prodazhu-i-uzhe-est-ee-pervye-igrovye-testy.html Share this post Link to post Share on other sites
BeS 53 Report post Posted August 5, 2016 3 hours ago, Smorodov said: Уже вроде как есть: https://www.overclockers.ru/hardnews/77879/nvidia-predstavila-titan-x-na-graficheskom-processore-pascal.html https://www.overclockers.ru/hardnews/78126/videokarta-nvidia-titan-x-pascal-postupila-v-prodazhu-i-uzhe-est-ee-pervye-igrovye-testy.html Да, 2 августа стартовали продажи...но там её не укупишь - первые несколько месяцев корпорации будут их раскупать как горячие пирожки Share this post Link to post Share on other sites
mrgloom 242 Report post Posted August 23, 2016 Цитата Current implementation has a "soft" assumption that the devices being used are homogeneous. In practice, any devices of the same general class should work together, but performance and total size is limited by the smallest device being used. e.g. if you combine a TitanX and a GTX980, performance will be limited by the 980. Mixing vastly different levels of boards, e.g. Kepler and Fermi, is not supported. https://github.com/BVLC/caffe/blob/master/docs/multigpu.md Share this post Link to post Share on other sites
