条件随机场

介绍

CRF:给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型-假设:输出变量构成马尔科夫随机场,其联合概率分布构成概率无向图模型。

CRF:判别模型

学习方法:极大似然估计或正则化的极大似然估计-最大化发生概率

常用解码方法:维特比算法

维特比算法

CRF预测问题-非规范化概率最大的最优路径问题
即:$\max_{y} (w \cdot F(y,x)),w表示特征权值,F表示转移的特征$

  • 参数:输入-模型特征向量、权值向量、观测序列;输出:最优路径
  • 初始化:起始标签-dp[0][state] = start[state] * emission[state][x1]
  • 递推-动态规划:计算每一个前一个状态prev_state到当前状态state的得分: dp[t][state] = dp[t-1][prev_state] * transition[prev_state][state] * emission[state][xt]从中选择最大的得分,同时记录使得得分最大的prev_state,以便后续进行路径回溯。
  • 终止:找到在最后位置的最大得分及其对应的状态。
  • 路径回溯:从最后位置的最优状态开始,使用之前存储的prev_state信息回溯找到整个最优路径。
  • 输出最优路径。