大语言模型中的涌现现象是不是伪科学？
Datawhale干货
【资料图】
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
短讯！波兰对战阿尔巴尼亚(波兰对战阿尔巴尼亚比分)
一、波兰对战阿尔巴尼亚波兰（poland）这个词在早期日耳曼语中指代贫瘠、蛮荒、未开荒之地。波兰和他以东的
泰山崩于前而面不改色意思_泰山崩于前而面不改色下一句是什么|天天快消息
1、为将之道，当先治心。2、泰山崩于前而色不变，麋鹿兴于左而目不瞬，然后可以制利害，可以待敌。本文就为
季后赛5000分太难了！哈登差1392分，杜兰特差108分，那詹姆斯呢
季后赛5000分太难了！哈登差1392分，杜兰特差108分，那詹姆斯呢,乔丹,库里,凯文杜兰特,勒布朗詹姆斯,詹姆斯
苹果iPhone 15系列四款机模上手
IT之家5月27日消息，根据国外科技媒体MacRumors从配件厂商处获得的机模，分享了iPhone15、iPhone15Plus、iP
AI大模型加速落地数字商业 微盟寻找SaaS市场新增长|环球信息
华夏时报记者卢晓北京报道 AI大模型这把火燃烧正旺，但它的持久度却依赖于在行业的应用落地。但这件事，
世界快讯:比比东为何甘心交出王权？六大供奉被收买，论PUA还得看女王
剿灭两大帝国是武魂帝国统一大陆的必经之路，所以此刻替比比东对抗天斗不违背他们忠于武魂殿和千道流的的初
播报：日本饮料巨头年赚1046亿，击败统一、农夫山泉，还被误以为是国货
【阅读此文之前，麻烦您点击下“关注”，方便与您讨论分享，也能及时观看下一篇精彩文章。非常感谢您的关注
老式推拉门滑轮安装图片视频_老式推拉门滑轮安装图
1、施工准备(1)材料(2)材料种类、规格：钛镁合金型材80系列(3)玻璃种类、厚度：双层中空玻璃4+6+4(4)主要机
元朝特殊癖好，使这名韩国女子入宫，最后做了皇后，儿子当了皇帝-世界新消息
到了元明时代，韩国女子更是成为皇宫的常客，成为皇帝的独特癖好，下面这位韩国女子，7岁就被掳掠入宫，后
健友股份：5月26日融资买入118.1万元，融资融券余额1.18亿元
5月26日，健友股份（603707）融资买入118 1万元，融资偿还104 5万元，融资净买入13 6万元，融资余额1 13亿元。
中光防雷：5月15日召开业绩说明会，投资者参与_速读
2023年5月16日中光防雷300414发布公告称公司于2023年5月15日召开业绩说明会具体内容如下问请公司相比同行业
