Duxy's

a digged hole

人生第一次旁听博士论文答辩随感

放下了感觉很重要的事情,冲到几十公里外,参与了师兄师姐的毕业论文答辩。感受了一下真正的高水平毕业设计,感触良多。

一直感觉,博士学习的就是一种思想,一种站在高处,以旁观者的角度看待剅万物的规律,解决常人所无法解决的问题的思想。一直觉得,自己的高度还不够高,还差得远。以为自己做了点实验,做了一些工作,似乎熟悉了这里面的道道。却在今天复又发现,还有很长的路要走。

Zookeeper文档总结

从官方文档里总结的Zookeeper的使用方法,在此mark。

zookeeper主要是解决配置文件,状态信息, 规则约定等系统的协调信息。所以每一个znode的信息最好在K级,不要超过1M。否则某些操作的时间会非常长。

Swap: 0k total, 0k used, 0k free

今天机器特别卡,top查看信息时,感觉有点不对:

Swap: 0k total, 0k used, 0k free

开始以为是没有使用swap的原因,换了一台机器一看,显然不是这样啊。

caffe研究心得

不同的GPU型号,架构还不一样么?TitanX与GTX980是一样的?Kepler和Fermi不一样?
caffe里面使用的情况是:可以使用多个GPU,但最好是型号一样的。其基本理论是:将任务分发到GPU之上,每个GPU仍然按照配置里所设定的执行,所以在配置里batchsize设为了256,那么实际的batchsize 是256*GPU数量。
整体的结构是树型结构,按层次交换gradients。
如果有P2P的DMA加速,那么效率会更高。这种加速不知道是硬件提供的还是软件设定的。

在MPI框架下使用CUDA开发

接到任务:研究MPI与CUDA的使用。以前只是听了听课,从来没有实际操作过。于是做了一些简单的实验,来熟悉这两个东东的使用。

Ambari环境配置总结

Ambari的配置基本按照官方的进行,除了下载的时候慢了点之外,其余都还好。在其中遇到了几个问题,在此mark一下。