一起做实验 | 多GPU并行计算训练深度神经网络

Caffe，用于脑回神经网络算法的框架，其作者是当时在UC Berkeley大学的 PhD贾扬清老师。

TensorFlow，Google开源的第二代深度学习框架，用于Google搜索，图像识别框架。

MXnet，颇具实力的后起之秀，亚马逊宣布把MXnet作为其公司最主要的深度学习框架，并与AWS结合。支持后续代码开发，维护和开发费用。而Apache也把MXnet加入孵化器项目。作者李沐和陈天奇都是交大校友，我们很高兴的在深度学习中看到了中国人在内发挥着重要的作用。

Torch，Facebook力推的深度学习框架，有较好的灵活性。

Theano，诞生于蒙特利尔理工学院，主要开发语言是Python。

Caffe1.0.0-rc5，支持大部分主流操作系统平台，实验环境选用的Ubuntu16.04 LTS。

CUDA8.0，NVIDIA公司推出的并行计算平台，利用GPU并行计算就需要安装。Ubuntu 16.04支持CUDA 8.0版本了，请各位同学放心使用。

cuDNN5.1，CUDA的深层神经网络库，用于GPU加速，官方出品加速外挂。

NCCL，让多个GPU工作就靠它了。

OPENBLAS3.1，BLAS是一个标准的数学函数接口，有很多个实现。Caffe官方默认使用的是ATLAS，但这个版本的BLAS不支持多核GPU，所以这里选用开源的OPENBLAS。有条件的同学还可以选择IntelMKL。

OPENCV3.1，开源的计算机视觉库，Caffe可视化图形需要调用。

Python2.7，这个是Ubuntu自带源的版本，也可以选择Anaconda3.3+。

train-images-idx3-ubyte.gz：training set images (9912422 bytes)

train-labels-idx1-ubyte.gz：training set labels (28881 bytes)

t10k-images-idx3-ubyte.gz：test set images (1648877 bytes)

t10k-labels-idx1-ubyte.gz：test set labels (4542 bytes)

# The train/test net protocol buffer definition

net："examples/mnist/lenet_train_test.prototxt"//网络协议具体定义

# test_iter specifies how many forward passes the test should carry out

# In the case of MNIST，we have test batch size 100 and 100 test iterations

# covering the full 10,000 testing images

• test_iter：100//test迭代次数 如果batch_size =100，则100张图一批，训练100次，则可以覆盖10000张图的需求。

# Carry out testing every 500 training iterations

test_interval： 500//训练迭代500次，测试一次

# The base learning rate，momentum and the weight decay of the network

base_lr：0.01//网络参数：学习率

momentum：0.9//网络参数：动量

weight_decay： 0.0005//网络参数：权重的衰减

# The learning rate policy

lr_policy："inv"

gamma：0.0001//学习策略：有固定学习率

power：0.75//学习策略：每步递减学习率

# Display every 100 iterations

display：100//每迭代100次显示一次

# The maximum number of iterations

max_iter：10000//最大迭代次数

# snapshot intermediate results

snapshot：5000//每5000次迭代存储一次数据

snapshot_prefix："examples/mnist/lenet"

# solver mode：CPU or GPU

solver_mode：GPU//使用GPU或CPU

#./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt -gpu all