全球新资讯：大语言模型中的涌现现象是不是伪科学？
Datawhale干货
(资料图)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
全球新资讯：大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
“拍蒜断刀”的张小泉年报出炉：增长遇到瓶颈，如何破局？-天天速讯
4月17日晚间，去年屡上热搜的“刀剪第一股”张小泉2022年年度报告出炉。整体来看，张小泉2022年增收不增利
「世界说」美媒：民众对枪暴担忧与日俱增 两党互相“甩锅”却令其“失望透顶”
中国日报网4月17日电据美国哥伦比亚广播公司（CBS）报道，美国父母对枪支暴力的担忧与日俱增。社会压力、校
天天动态:三言消费｜快时尚不快 Mango错失中国市场
三言两语评热点，文旅、时尚、商超消费三人谈。今日看点：快时尚不快Mango错失中国市场汉马、京沪半马在内
当前滚动:集华股份2022年净利436.63万 同比增长232.69%
挖贝网4月18日，集华股份（839239）近日发布2022年年度报告，报告期内公司实现营业收入83,897,445 41元，同
把握生态环保型车辆内饰材料发展机遇，大陆集团常州工厂启动三期扩建项目
把握生态环保型车辆内饰材料发展机遇，大陆集团常州工厂启动三期扩建项目,近日，科技公司大陆集团宣布与江
世界最新：2023上海国际车展开幕 亿咖通与星纪魅族集团联合亮相
全球出行科技公司亿咖通科技携手星纪魅族集团于4月18日正式亮相2023上海国际车展。这是继亿咖通科技发布多
环球快资讯：中汽协：一季度汽车制造业固定资产投资同比增长19.0%
4月18日，据中国汽车工业协会整理的国家统计局数据显示，2023年一季度，汽车制造业固定资产投资保持增长。
3-0+3连胜！穆里尼奥神了，42%控球12射，甩国际米兰5分，争4稳了
第67分钟，乌迪内斯前场反击，洛夫里奇禁区内射门时皮球击中曼奇尼手上，主裁判果断判罚了点球，佩雷拉主罚
用英文讲好中国故事，南华大学创新外语课程教学 世界快消息
《破晓》剧作表演现场。红网时刻衡阳4月18日讯（通讯员饶宝仪李嘉宇陈议菲）近日，南华大学语言文学学院开
怎么找回最近卸载的软件 怎样恢复电脑上删除的文件 当前热门
今天来聊聊关于怎么找回最近卸载的软件，怎样恢复电脑上删除的文件的文章，现在就为大家来简单介绍下怎么找
观天下！广州公积金缴存手续如何办理2023？单位职工及灵活人员办理一样吗？
广州公积金缴存手续如何办理2023？单位职工及灵活人员办理一样吗？社保网小编带你来看看。广州企业单位职工
【独家焦点】市场监管总局批准建立500kV工频高电压比例基准装置
据央视新闻，市场监管总局近日批准建立500kV工频高电压比例基准装置。电能作为重要的清洁能源，是构建新型
“视频天下”时代,媒体融合转型仍需迈过“三重门”! 环球百事通
“求形式重于求内容、新媒体沿用旧逻辑、内容和情境不匹配等，都会导致有价值的优质内容难以触及用户。”日
艾伦：今年尝试了一些不同的东西 希望能打破在克堡的不顺
马克·艾伦打出两杆破百，最终10-5击败范争一，将在下一轮中对阵斯图尔特·宾汉姆。艾伦：“中场休息之前的
焦点日报：鼠标右键菜单不显示怎么解决_鼠标右键菜单不显示
1、我以前也遇到过这种问题，不过记得重启就好了。2、在网上找到了一种解决办法，不知是否有用？试试吧。3
天天通讯！俄罗斯方面预计石油产量将保持稳定直至2025年，计划建立储备
俄罗斯方面预计石油产量将保持稳定直至2025年，计划建立储备：俄罗斯能源部副部长索罗金表示，俄罗斯的石油
