Evaluation of Word Vectors

CS224N:Natural Language Processing with Deep Learning

Intrinsic（内在） Evaluation

• 对一个特定中间任务进行评估
• 子任务比较简单，并且计算较快
• 子系统性能表现能理解子系统的作用
• 内在评估与最终任务性能表现呈正相关

Extrinsic（外在） Evaluation

• 对真实任务的评估
• 计算性能可能会很慢
• 如果性能不佳，搞不清楚问题出现在哪一个子系统、还是子系统之间协调不佳的问题
• 如果更换子系统可以提高性能，则更改可能是好的

内部评估例子: Word Vector Analogies（类比）

给定词向量a,b,c，我们想找到一个词向量d，使得

$$a: b:: c: ?$$

根据余弦相似度cosine similarity：

$$d=\underset{i}{\operatorname{argmax}} \frac{\left(x_b-x_a+x_c\right)^T x_i}{\left\|x_b-x_a+x_c\right\|}$$

因为我们想要：$x_b-x_a=x_d-x_c$，比如说：queen – king = actress – actor。
这意味着我们想找到一个向量 $x_d$，使得$x_b-x_a+x_c=x_d$

semantic（语义的） word vector analogies (intrinsic evaluation)

$$\begin{aligned} &\text { City } 1 \text { : State containing City } 1 \text { : : City } 2 \text { : State containing City } 2\\ &\begin{array}{ll} \hline \text { Input } & \text { Result Produced } \\ \hline \text { Chicago : Illinois : : Houston } & \text { Texas } \\ \text { Chicago : Illinois : : Philadelphia } & \text { Pennsylvania } \\ \text { Chicago : Illinois : : Phoenix } & \text { Arizona } \\ \text { Chicago : Illinois : : Dallas } & \text { Texas } \\ \text { Chicago : Illinois : : Jacksonville } & \text { Florida } \\ \text { Chicago : Illinois : : Indianapolis } & \text { Indiana } \\ \text { Chicago : Illinois : : Austin } & \text { Texas } \\ \text { Chicago : Illinois : : Detroit } & \text { Michigan } \\ \text { Chicago : Illinois : : Memphis } & \text { Tennessee } \\ \text { Chicago : Illinois : : Boston } & \text { Massachusetts } \\ \hline \end{array} \end{aligned}$$

这里存在一个问题：在美国很多城市名字一样，比如美国有十个城市都叫Phoenix。Arizona就不是唯一正确答案

我们可以考虑另一种首都对应国家的词类比形式

$$\begin{aligned} &\text { Capital City } 1 \text { : Country } 1 \text { : : Capital City } 2 \text { : Country } 2\\ &\begin{array}{ll} \hline \text { Input } & \text { Result Produced } \\ \hline \text { Abuja : Nigeria : : Accra } & \text { Ghana } \\ \text { Abuja : Nigeria : : Algiers } & \text { Algeria } \\ \text { Abuja : Nigeria : : Amman } & \text { Jordan } \\ \text { Abuja : Nigeria : : Ankara } & \text { Turkey } \\ \text { Abuja : Nigeria : : Antananarivo } & \text { Madagascar } \\ \text { Abuja : Nigeria : : Apia } & \text { Samoa } \\ \text { Abuja : Nigeria : : Ashgabat } & \text { Turkmenistan } \\ \text { Abuja : Nigeria : : Asmara } & \text { Eritrea } \\ \text { Abuja : Nigeria : : Astana } & \text { Kazakhstan } \\ \hline \end{array} \end{aligned}$$

这种首都对应国家的词类比形式也可能存在问题，1997年以前，哈萨克斯坦的首都是阿拉木图。如果我们的语料库过时了。

syntactic（语法的） word vector analogies (intrinsic evaluation)

下面的例子使用内在评价测试词向量捕捉形容词最高级的能力:

$$\begin{array}{ll} \hline \text { Input } & \text { Result Produced } \\ \hline \text { bad : worst : : big } & \text { biggest } \\ \text { bad : worst : : bright } & \text { brightest } \\ \text { bad : worst : : cold } & \text { coldest } \\ \text { bad : worst : : cool } & \text { coolest } \\ \text { bad : worst : : dark } & \text { darkest } \\ \text { bad : worst : : easy } & \text { easiest } \\ \text { bad : worst : : fast } & \text { fastest } \\ \text { bad : worst : good } & \text { best } \\ \text { bad : worst : : great } & \text { greatest } \end{array}$$

类似地，下面所示的内在评估测试词向量捕捉动词过去时的能力:

$$\begin{array}{ll} \hline \text { Input } & \text { Result Produced } \\ \hline \text { bad : worst : : big } & \text { biggest } \\ \text { bad : worst : : bright } & \text { brightest } \\ \text { bad : worst : : cold } & \text { coldest } \\ \text { bad : worst : : cool } & \text { coolest } \\ \text { bad : worst : : dark } & \text { darkest } \\ \text { bad : worst : : easy } & \text { easiest } \\ \text { bad : worst : : fast } & \text { fastest } \\ \text { bad : worst : : good } & \text { best } \\ \text { bad : worst : : great } & \text { greatest } \\ \hline \end{array}$$

词嵌入技术和内在评估的超参数：

• 词向量的维数
• 语料库大小
• 语料来源/类型
• 上下文窗口大小

• 上下文对称性

  我们可以看到不同超参数下，不同的方法的性能表现

  $$\begin{array}{lll|lll} \hline \text { Model } & \text { Dimension } & \text { Size } & \text { Semantics } & \text { Syntax } & \text { Total } \\ \hline \text { ivLBL } & 100 & 1.5 \mathrm{~B} & 55.9 & 50.1 & 53.2 \\ \text { HPCA } & 100 & 1.6 \mathrm{~B} & 4.2 & 16.4 & 10.8 \\ \text { GloVE } & 100 & 1.6 \mathrm{~B} & 67.5 & 54.3 & 60.3 \\ \hline \text { SG } & 300 & 1 \mathrm{~B} & 61 & 61 & 61 \\ \text { CBOW } & 300 & 1.6 \mathrm{~B} & 16.1 & 52.6 & 36.1 \\ \text { vLBL } & 300 & 1.5 \mathrm{~B} & 54.2 & 64.8 & 60.0 \\ \text { ivLBL } & 300 & 1.5 \mathrm{~B} & 65.2 & 63.0 & 64.0 \\ \text { GloVe } & 300 & 1.6 \mathrm{~B} & 80.8 & 61.5 & 70.3 \\ \hline \text { SVD } & 300 & 6 \mathrm{~B} & 6.3 & 8.1 & 7.3 \\ \text { SVD-S } & 300 & 6 \mathrm{~B} & 36.7 & 46.6 & 42.1 \\ \text { SVD-L } & 300 & \text { 6B } & 56.6 & 63.0 & 60.1 \\ \text { CBOW } & 300 & \text { 6B } & 63.6 & 67.4 & 65.7 \\ \text { SG } & 300 & 6 \mathrm{~B} & 73.0 & 66.0 & 69.1 \\ \text { GloVe } & 300 & 6 \mathrm{~B} & 77.4 & 67.0 & 71.7 \\ \hline \text { CBOW } & 1000 & \text { 6B } & 57.3 & 68.9 & 63.7 \\ \text { SG } & 1000 & \text { 6B } & 66.1 & 65.1 & 65.6 \\ \text { SVD-L } & 300 & 42 B & 38.4 & 58.2 & 49.2 \\ \text { GloVe } & 300 & 42 \mathrm{~B} & 81.9 & 69.3 & 75.0 \\ \hline \end{array}$$
• 词嵌入性能在很大程度上依赖于用于词嵌入的模型
• 语料库规模越大，性能越好
• 对于极低维的词向量，性能较低

超参数选择：
词向量维度选为300
上下文窗口大小选为8比较好

内在评估例子:相关性评价（Correlation Evaluation）

让人给词向量之间相似度评分（比如：0-10分），然后跟对应的词向量的余弦相似度比较