Рябь на экране при тренировке глубоких сетей

[BeS 53]

Всем привет,

А кто-то сталкивался с тем, что при тренировке сеток на GPU появляется рябь на экране? Оно конечно вполне ожидаемо, когда тренировка бежит на основном GPU (раньше бывало что экран вообще гас), но рябь появляется даже тогда, когда тренирова бегает на дополнительной карте, никак не связанной с монитором. БП вроде тоже не слабый (1300W). Может кто знает, как пофиксить?

[Smorodov 579]

У меня не рябь, а артефакты появляются при долгой тренировке в основном на chrome замечено.

Блоки черно-цветных квадратов. Наверное где то GPU-шная память течет, или в хроме баг.

[BeS 53]

5 minutes ago, Smorodov said:

У меня не рябь, а артефакты появляются при долгой тренировке в основном на chrome замечено.

Блоки черно-цветных квадратов. Наверное где то GPU-шная память течет, или в хроме баг.

У меня на однородном фоне видно вертикальную рябь в приложениях, явно не использующих GPU (в терминале, emacs etc.).

Ну и мне кажется, что прикладной софт должен биндиться на master карту, а slave вообще своей жизнью жить должна...

 

[Smorodov 579]

Тогда, скорее всего проблемы с управлением выделением памяти в CAFFE есть, может память карт объединенных SLI видится как одно пространство (не разбирался, поэтому могу только предполагать), вот и вылезает в чужую область.