prompt类预模型学习
UIE模型
UIE: Unified Structure Generation for Universal Information Extraction
研究背景
在信息抽取(IE)领域,由于抽取目标多样、多种不同的复杂异构结构以及领域的需求多变，导致当前IE难以统一建模。极大限制了IE系统高效架构开发、有效知识共享、快速跨域适配。
针对不同任务设定，需要针对特定领域schema建模，不同IE模型被单个训练、不共享，一个公司可能需要管理众多IE模型。
UIE提出生成式统一建模，通过统一文本到结构生成框架实现：
- 统一地建模不同的IE任务；
- 自适应地生成目标结构；
- 从不同的知识来源统一学习通用的信息抽取能力
主要工作
- 统一建模：文本到结构生成
SSI(结构化模式提示器)：统一prompt编码结构，即编码实体、关系、事件统一表示。
SEL(结构化抽取语言):将不同任务抽取结果统一用一种方式表达。
- 预训练与微调
- 预训练：大规模异构监督预训练
对三种预训练预料数据分别构建了对应的数据结构。并在预训练阶段将这三部分数据训练整合训练。分别构建3个与训练任务，使得模型能够有从文本到结构数据映射的能力，具备SEL的结构化能力以及基础的编码能力
- 微调：拒识噪声注入的模型微调机制
随机采样SEL中不存在的SpotName类别和AssoName类别，即：(SPOTNAME, [NULL]) 和 (ASSONAME, [NULL])，学会拒绝生成错误结果的能力，如下图所示：
