今天六一,C小加不在身边,混球啊。任务需要在看曼宁的《统计自然语言处理基础》。然后用到互信息,每次我觉得好高深的名字,做下去的时候就发现没有那么难。
搭配
搭配由有限的复合构词法所描述。
识别搭配对的方法有三种:1.使用频率信息的搭配识别。2.基于含义和主词搭配词之间的距离识别。3.基于假设测试和互信息的识别。
1.频率
将语料过滤后得到的动词,名词,之间进行两两配对,统计每个词语在一个句子,或在一个段落中出现的次数,即为频率。
2.均值和方差
由于两个词之间的距离是可以变化的,计算两个词之间的偏移量的均值和方差。
均值就是简单的平均偏移量。
方差衡量的是单独的偏移量偏离均值的距离:
![](/images/cppblog_com/sunrise/QQ截图20120601103629.png)
是同现i的偏移量,
表示的是样本偏移量的均值。
我们可以通过使用这个信息来发现搭配。具体的方法是通过寻找带有低偏差的词对。一个低的偏差值意味着这两个词通常大致相同距离出现。零偏差意味着这两个词总是以相同的距离出现。
方差是关于一个相对于其他词分布峰值情况的度量。
关于互信息
互信息的计算公式是这样的:
MI(a,b) = log( p(ab) / (p(a)*p(b)) )
其中log的底数是2,p(x)表示x出现的概率。
好吧,好水,好简单。。着手写代码了。