概率图结构
以上图中可以看出,CRF属于无向图模型,由马尔可夫随机场衍化而来,这里注意隐马尔可夫属于有向图。判别式模型
CRF的两个重点:判别式模型、特征函数。
判别式模型,是指模型的目的性很明确,模型建立的就是为了直接作判别,可以参考SVM,SVM的目的是为了构建一个超平面划分不同的分类。特征函数
就像神经网络的隐结点的个数、层数一样,特征函数对于CRF来说就是这个模型的参数。神经网络的训练是为了确定隐结点的权重等一系列参数,CRF的训练同样是确定特征函数的权重参数。CRF的模型公式如下:
其中, 为特征函数, 即是各个特征函数的权重。 需要注意的是,LSTM+CRF中的CRF与普通的CRF不同,并没有定义特征函数,CRF可以弥补LSTM未考虑的label的约束信息。