Dropout是hintion最近2年提出的為了防止模型過擬合,Dropout可以作為一種trikc供選擇。在hinton的論文摘要中指出,在每個訓練批次中,通過忽略一半的特徵檢測器(讓一半的隱層節點值為0),可以明顯地減少過擬合現象。
這種方式可以減少特徵檢測器間的相互作用,檢測器相互作用是指某些檢測器依賴其他檢測器才能發揮作用