困惑度

困惑度 (Perplexity, PP)： 是用于客观评价语言模型性能的指标。

困惑度衡量语言模型对测试集的预测能力，基于语言模型计算的测试集概率，再根据单词数量进行归一化得到。建模如下：

\[ \begin{align} PP \left(W \right) &= P \left(w_1, w_2, \cdots, w_N \right)^{- \frac{1}{N}} \\ &= \sqrt[N]{\frac{1}{P \left(w_1, w_2, \cdots, w_N \right)}} \\ &= \sqrt[N]{\prod_{i = 1}^N \frac{1}{P \left(w_i \mid w_1, \cdots, w_{i -1} \right)}} \end{align} \]