大语言模型中的涌现现象是不是伪科学？
Datawhale干货
(资料图片仅供参考)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
华大智造(688114)2022年报和2023年一季报点评：一季度受自动化产品需求萎缩影响 测序仪全球开拓放量可期-全球今头条
华大智造(688114)2022年报和2023年一季报点评：一季度受自动化产品需求萎缩影响测序仪全球开拓放量可期
解读 | 6月1日起 四川工商业电力用户电价电费再起变化 今日快讯
2023年4月24日，《四川省发展和改革委员会关于调整我省分时电价机制的通知》川发改价格规[2023]186号（以下
币安美国终止收购已破产加密货币经纪公司Voyager
App4月26日消息，已破产的加密货币经纪商VoyagerDigitalLtd表示，币安美国已经终止了收购该公司的协议。“
焦点热门:中国驻苏丹大使馆发布：关于中国公民自苏丹向埃及撤离的提醒
中国驻苏丹、埃及使馆密切关注、积极协助中国公民撤离苏丹、入境埃及，驻埃及使馆已派工作组前往埃及南部高
花园生物（300401）：4月25日北向资金减持53.7万股 世界热消息
4月25日北向资金减持53 7万股花园生物。近5个交易日中，获北向资金减持的有4天，累计净减持130 83万股。近2
环球新动态：pickup是什么意思啊 pickup是什么意思
今天来聊聊关于pickup是什么意思啊，pickup是什么意思的文章，现在就为大家来简单介绍下pickup是什么意思啊，
每日精选：国金证券：2023年第一季度净利润约5.97亿元 同比增加380.09%
国金证券（SH600109，收盘价：8 67元）4月25日晚间发布一季度业绩公告称，2023年第一季度营收约19 52亿元，
郑州新郑综保区一季度外贸进出口值持续保持千亿元
大河网讯记者从河南郑州航空港获悉，2023年一季度郑州新郑综保区累计完成外贸进出口总值1105 85亿元，连续
2023上海车展：豪华新能源的“天花板” 静态体验迈巴赫EQS SUV
这台迈巴赫EQSSUV的动力总成目前得到的消息，最大功率470kw，CLTC续航里程是600km，空气悬架，四轮转向功能
贵州茅台：一季度净利同比增20.59% 当前关注
【贵州茅台：一季度净利同比增20 59%】贵州茅台(600519)4月25日晚间披露一季报，一季度实现营业收入387 56
中原传媒2023年第一季度净利1.01亿 较上年同期增长4.89%|环球热消息
中原传媒2023年第一季度净利1 01亿较上年同期增长4 89%2023 4 2518:59:13挖贝网春雨挖贝网4月25日，中原传媒（00071
摩根动力精选混合A：一季度跑输业绩基准逾11%
摩根动力精选混合A近日披露的2023年一季报显示，该基金一季度净值下跌9 64%，跑输业绩比较基准11 13个百分
新华都2023年一季度营收6.77亿元 归母净利润0.64亿元
观点网讯。4月25日，新华都科技股份有限公司发布2023年第一季度报告。观点新媒体获悉，期内，新华都实现营
宝马8系回到了德国汽车制造商的2019年车型阵容-世界速讯
在缺席21年之后，宝马8系回到了德国汽车制造商的2019年车型阵容。20208系列有轿跑车，敞篷车和GranCoup
上工申贝（600843）4月25日主力资金净卖出32.39万元|每日精选
截至2023年4月25日收盘，上工申贝(600843)报收于4 82元，下跌1 03%，换手率0 7%，成交量3 28万手，成交额1579 32万元。
新疆伊犁州新源县发生3.3级地震 震源深度11千米|新动态
中国地震台网正式测定：04月24日22时13分在新疆伊犁州新源县（北纬43 31度，东经83 68度）发生3 3级地震，
