Значение пропускной способности GPU VRAM для обучения нейронной сети

Мой вопрос вкратце: является ли пропускная способность VRAM у GPU действительно узким местом в отношении Deep Neural Networks?

Более длинная версия: парень по имени Тим Деттмерс написал в своем блоге, что все соответствующие операции на самом графическом процессоре выполняются быстрее, чем пропускная способность может предоставить новые данные. Кажется разумным. Но теперь я вчера выполнил свои собственные эксперименты и обнаружил, что это не так с моим GPU. Это Nvidia GTX 560TI с 1 ГБ видеопамяти. Как вы можете видеть, это довольно медленная карта и имеет мало VRAM. С AlexNet и 128x128 изображениями и размером пакета 4 - более крупные не помещаются в мою VRAM - ситуация такова: часы памяти 2200 МГц: 13:34 минуты часы памяти 1650 МГц: 14:17 минуты

Почти нет ускорения. 95,3% времени с 1 1/3 тактовой частоты памяти. Теперь может быть так, что в моей ситуации графический процессор действительно медленно работает или размер пакета просто мал, и поэтому он ограничен пропускной способностью PCIe (PCIe 2.0). Я также попробовал это в собственной сети с параметрами ~1 млн. И различными размерами партий до 1024 с изображениями 40x40. Там это почти ничего не изменило.

После моего не столь представительного эксперимента я все еще не уверен, что в действительности важно для производительности графического процессора.

Изменить: В этом случае каркас был Nvidia Digits с Nvidia Caffe Fork. Я знаю, что мой GPU очень медленный, но мой вопрос был связан с GPU в целом.