放下了感觉很重要的事情,冲到几十公里外,参与了师兄师姐的毕业论文答辩。感受了一下真正的高水平毕业设计,感触良多。
一直感觉,博士学习的就是一种思想,一种站在高处,以旁观者的角度看待剅万物的规律,解决常人所无法解决的问题的思想。一直觉得,自己的高度还不够高,还差得远。以为自己做了点实验,做了一些工作,似乎熟悉了这里面的道道。却在今天复又发现,还有很长的路要走。
放下了感觉很重要的事情,冲到几十公里外,参与了师兄师姐的毕业论文答辩。感受了一下真正的高水平毕业设计,感触良多。
一直感觉,博士学习的就是一种思想,一种站在高处,以旁观者的角度看待剅万物的规律,解决常人所无法解决的问题的思想。一直觉得,自己的高度还不够高,还差得远。以为自己做了点实验,做了一些工作,似乎熟悉了这里面的道道。却在今天复又发现,还有很长的路要走。
从官方文档里总结的Zookeeper的使用方法,在此mark。
zookeeper主要是解决配置文件,状态信息, 规则约定等系统的协调信息。所以每一个znode的信息最好在K级,不要超过1M。否则某些操作的时间会非常长。
今天机器特别卡,top查看信息时,感觉有点不对:
Swap: 0k total, 0k used, 0k free
开始以为是没有使用swap的原因,换了一台机器一看,显然不是这样啊。
不同的GPU型号,架构还不一样么?TitanX与GTX980是一样的?Kepler和Fermi不一样?
caffe里面使用的情况是:可以使用多个GPU,但最好是型号一样的。其基本理论是:将任务分发到GPU之上,每个GPU仍然按照配置里所设定的执行,所以在配置里batchsize设为了256,那么实际的batchsize 是256*GPU数量。
整体的结构是树型结构,按层次交换gradients。
如果有P2P的DMA加速,那么效率会更高。这种加速不知道是硬件提供的还是软件设定的。
接到任务:研究MPI与CUDA的使用。以前只是听了听课,从来没有实际操作过。于是做了一些简单的实验,来熟悉这两个东东的使用。
GPU确实好用,在这里记录一下Grid, Block相关的概念。
曾经的weed-fs,现改名叫seaweed,用的人很多,但在开始配置的时候,还是非常脆弱的嘛。
Ambari的配置基本按照官方的进行,除了下载的时候慢了点之外,其余都还好。在其中遇到了几个问题,在此mark一下。