Duxy's

a digged hole

caffe研究心得

不同的GPU型号,架构还不一样么?TitanX与GTX980是一样的?Kepler和Fermi不一样?
caffe里面使用的情况是:可以使用多个GPU,但最好是型号一样的。其基本理论是:将任务分发到GPU之上,每个GPU仍然按照配置里所设定的执行,所以在配置里batchsize设为了256,那么实际的batchsize 是256*GPU数量。
整体的结构是树型结构,按层次交换gradients。
如果有P2P的DMA加速,那么效率会更高。这种加速不知道是硬件提供的还是软件设定的。