Early Stopping

Reduce network size

Optimize Data Loading

把dataset保存成一個*.pt結尾的PyTorch檔案

Increase batch size

OneCycleLR：

起初先用接近0的learning rate進行訓練，逐漸加大learning rate，當訓練到中間epoch的時候(例如有90個epoch，45個epoch為中間值)，此時的學習率為最大值，接著繼續遞減直到訓練結束。

Fine Tuning