word2vec負採樣的原理

原理：負採樣實際上是採樣負例來幫助訓練的手段，其目的與層次softmax一樣，是用來提升模型的訓練速度。我們知道，模型對正例的預測概率是越大越好，模型對負例的預測概率是越小越好。

負採樣的思路就是根據某種負採樣的策略隨機挑選一些負例，然後保證挑選的這部分負例的預測概率儘可能小。所以，負採樣策略是對模型的效果影響很大，word2vec常用的負採樣策略有均勻負採樣、按詞頻率採樣等等。