■
メモ:
高速化のためにはバッチサイズが大きい必要がある。
学習率を下げる~=バッチサイズをあげるではあるが、少なくとも高速化の文脈では、バッチサイズを大きくした方が良い
https://openreview.net/pdf?id=B1Yy1BxCZ
一般に、バッチサイズが小さい方が性能が良くなる?
メモ:
高速化のためにはバッチサイズが大きい必要がある。
学習率を下げる~=バッチサイズをあげるではあるが、少なくとも高速化の文脈では、バッチサイズを大きくした方が良い
https://openreview.net/pdf?id=B1Yy1BxCZ
一般に、バッチサイズが小さい方が性能が良くなる?