大语言模型中的涌现现象是不是伪科学？|当前短讯
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
大语言模型中的涌现现象是不是伪科学？|当前短讯
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
江西爽利源食品所产冰棍被查出菌落总数不符合国标 环球关注
近日，江西省市场监督管理局公布2023年第3期食品抽检信息。截至发稿时，中国质量新闻网在信用中国查看到，2
世界“文学之都”南京，又多了两家可阅读的博物馆-当前讯息
六朝烟雨落金陵，又至人间四月天。4月23日，世界“文学之都”南京的六朝博物馆内，多了几缕书香。当天下午
【全球热闻】新平台 新业态 新希望——赤壁市大健康产业发展调研记
不仅仅是检测黑茶，该中心还搭建了以“1＋7”架构为重点的检验检测平台，并成功取得了CMA国家实验室资质认
qq邮箱怎么设置自动回复收到邮件_outlook点击新建邮件 回复邮件全部提示未生效 怎么办 环球微动态
1、【把所有的office软件关掉，找一下开始菜单里的MSOffice文件夹，一般来说里面应该会有个MSOffice
重大利好：多部门密集发文！400亿大市场“氢氢”地来了！ 当前滚动
氢是宇宙中分布最为广泛的物质，具有能量密度高、燃烧后零碳排放等特有属性，因此“氢能”也成为全球能源转
cad布局中的图纸怎么打印_cad布局怎么打印图纸
今天小编肥嘟来为大家解答以上的问题。cad布局中的图纸怎么打印，cad布局怎么打印图纸相信很多小伙伴还不知
摄氏度和华氏度的换算公式（摄氏度和华氏度的换算公式是什么）
1、换算公式F=(C×9 5)+32;C=(F-32)×5 9;式中F--华氏温度,C--摄氏温度·摄氏温度与开尔文温度(绝对温度)的
面对詹姆斯末节连得22分！莫兰特23岁已3次季后赛45+，比肩詹姆斯
虽然莫兰特今天火线复出，带伤上阵，但灰熊还是以101-111不敌湖人，大比分1-2落后，搞不好有可能被湖人黑七
高邮市水务产业投资集团有限公司_关于高邮市水务产业投资集团有限公司简述 世界观察
小伙伴们，你们好，今天小夏来聊聊一篇关于高邮市水务产业投资集团有限公司，关于高邮市水务产业投资集团有
河南地质博物馆和自然博物馆_河南地质博物馆 全球看热讯
1、河南省地质博物馆地址：金水东路18电话：(0371)68108999从碧沙岗公园到河南地质博物馆公交线路：909路→
2023广州版权宣传周：原创+粤味，这场线上音乐会等你来参与！
00:38在第23个世界知识产权日来临之际，由广州市版权局指导，广州市天河区版权局、广州市天河区知识产权局
2023中关村知识产权论坛举办 支持科创主体创新发展-每日信息
论坛上，北京市海淀区发布了2022年度知识产权白皮书，启动了2023中国·海淀高价值专利培育大赛，并为7家北
精选！新华全媒+丨新技术、新潮流、新活力——从第二届武汉文博会看文旅融合发展新信号
新华全媒+丨新技术、新潮流、新活力——从第二届武汉文博会看文旅融合发展新信号---4月23日，为期3天的第二
