1、训练神经网络时如何确定batch的大小？

（1）GPU对2的幂次的patch可以发挥更佳的性能，因此设置成16、32、64、128.时往往要比设置为整10、整100的倍数时表现更优

（2）batch的size设置的不能太大也不能太小，因此实际工程中最常用的就是mini-batch,一般size设置为几十或者几百

（3）在工程实际中，从收敛速度的角度来说，小批量的样本集是最优的，也就是我们所说的mini-batch。这时的batch-size往往从几十到几百不等，但一般不会超过几千。

（4）对于二阶优化算法，减小batch换来的收敛速度提升远不如引入大量噪声导致的性能下降，因此在使用二阶优化算法时，往往要采用大batch哦。此时往往batch置成几千甚至一两万才能发挥出最佳性能