2023.12.12-UNDERSTANDING IN-CONTEXT LEARNING FROM REP_ETITIONS
每日一句:Stray birds of summer come to my window to sing and fly away away. And yellow leaves of autumn, which have no songs , flutter and fall there with a sign.
研究背景与动机
通过重复输入的视角检查模型的上下文能力，定量分析输入在生成中扮演的角色，实验性证明token共现强化的存在。这一规则会在上下文共现的基础上，加强token的关系。
主要工作与贡献
实验概况：
展示了重复性输入下，逻辑能力会受到影响，模型会陷入虚假的连接中错过关键信息。
通过多种定量分析，分析token强化对于结果的双面影响。
工作缺陷与未来展望
从侧面证明了词的生成共现性会极大的影响模型的输出，并且也说明了为什么测试中会出现重复性结果。