大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
(相關(guān)資料圖)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
推薦
-
-
-
淄川、章丘兩地簽署“審批服務(wù)一體化”備忘錄“省會經(jīng)濟圈”商事登記同城化邁上新臺階 世界觀熱點
魯中網(wǎng)淄博6月9日訊(記者車金通訊員孫運芬李文玉)6月8日，濟淄商事登記
來源： -
-
-
-
我發(fā)現(xiàn)互聯(lián)網(wǎng)工作的性價比還在持續(xù)走低，沒看到好轉(zhuǎn)的跡象 世界快播報
互聯(lián)網(wǎng)行業(yè)工作的性價比，越來越低，里面的工作也會變得越來越普通，這
來源： -
-
-
-
淄川、章丘兩地簽署“審批服務(wù)一體化”備忘錄“省會經(jīng)濟圈”商事登記同城化邁上新臺階 世界觀熱點
魯中網(wǎng)淄博6月9日訊(記者車金通訊員孫運芬李文玉)6月8日，濟淄商事登記
來源： -
-
-
或?qū)?月15日上市 領(lǐng)克09大五座版預(yù)告圖發(fā)布-環(huán)球簡訊
日前，我們從官方渠道獲取到了領(lǐng)克09大五座版的預(yù)告圖，新車預(yù)計將在6
來源： -
環(huán)球觀察：淮南市曉勇商貿(mào)有限責(zé)任公司（關(guān)于淮南市曉勇商貿(mào)有限責(zé)任公司介紹）
來為大家講解以上的問題?；茨鲜袝杂律藤Q(mào)有限責(zé)任公司，南市曉勇商貿(mào)有
來源： -
-
-
周村區(qū)東門路小學(xué)：以文學(xué)土壤滋養(yǎng)“文明之花”_聚看點
（導(dǎo)語）昨天下午，周村區(qū)東門路小學(xué)的校園內(nèi)熱鬧非凡。伴隨著朗朗讀書
來源： -
-
-
-
-
-
-
-
幻燈片母版設(shè)置可以起到的作用是什么意思 幻燈片母版設(shè)置可以起到的作用是_世界快播報
1、WPS演示的母版功能實現(xiàn)幻燈片的背景怎么設(shè)置 新建一個WPS演示文
來源： -
山東開展“露營+”工程 讓露營經(jīng)濟從“網(wǎng)紅”變“長紅”_環(huán)球快訊
“2023好客山東露營季”啟動儀式現(xiàn)場?！±蠲鬈恰z聽蟬鳴、聞清風(fēng)、觀
來源： -
-
-
-
-
-
-
-
-
【快播報】馬斯克：推特將向創(chuàng)作者支付回復(fù)中的廣告費用
6月10日，馬斯克發(fā)文表示，推特將很快開始向經(jīng)過認證的內(nèi)容創(chuàng)作者支付
來源： -
-
-
世界消息！正恒動力過會：今年IPO過關(guān)第145家 東吳證券過5單
正恒動力過會：今年IPO過關(guān)第145家東吳證券過5單---中國經(jīng)濟網(wǎng)北京6月1
來源： -
四川一中學(xué)不讓學(xué)生帶書離校售賣，“校內(nèi)3毛/斤，校外6毛/斤”，縣教育局回應(yīng) 世界視訊
據(jù)猛犸新聞報道，6月9日，在四川廣安，有網(wǎng)友發(fā)視頻稱，高考結(jié)束，鄰水
來源： -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
財富更多》
-
手握60億元人參卻發(fā)不出工資，“人參之王”咋啦？
手握60億元人參卻發(fā)不出工資，“人參之...
-
熱威電熱過會：今年IPO過第143家 海通證券過11.5單_當前速訊
熱威電熱過會：今年IPO過第143家海通證...
-
世界消息！正恒動力過會：今年IPO過關(guān)第145家 東吳證券過5單
正恒動力過會：今年IPO過關(guān)第145家東吳...
-
潤際新材過會：今年IPO過關(guān)第144家 長江保薦過4單
潤際新材過會：今年IPO過關(guān)第144家長江...
-
環(huán)球動態(tài):斗魚美股跌6.48%
斗魚美股跌6 48%---中國經(jīng)濟網(wǎng)北京6月1...
動態(tài)更多》
熱點
- realme10系列正式宣布 采用雙曲面屏正面頂部居中挖孔
- 五菱全新微型電動車內(nèi)飾官圖發(fā)布 座椅采用星際形打孔工藝
- 努比亞Z40星空典藏版正式開售 采用微米級油畫筆觸紋理技術(shù)
- iQOO11系列正式官宣 首批搭載驍龍8Gen2機型之一
- 海信34英寸帶魚屏顯示器發(fā)布 支持165Hz刷新率
- OPPO明年將商用240W超級閃充 新一代電芯支持更高倍率充電
- 第一款A(yù)ndroid手機渲染圖曝光 橫向滑蓋設(shè)計和全尺寸鍵盤
- 吉利首款純電皮卡11月9日上市 車輛續(xù)航里程超過610公里
- 努比亞Z40SPro星空典藏版正式公布 堪稱窄邊框天花板
- vivo無線運動耳機2今日正式上市 首銷只要119元
- 肌酐高吃什么能降下來(肌酐高可以吃哪些水果來降肌酐?)|快播報
- 約基奇23+12戈登27分 掘金力克熱火3-1奪冠軍點 當前快播
- 每日快報!王力宏方發(fā)聲否認李靚蕾在美國勝訴
- 樂平：科技大棚 增產(chǎn)增收 當前信息
- 全球短訊！杭州小學(xué)生查“學(xué)習(xí)資料”，一下花掉媽媽10萬元...緊急提醒！
- Zen5加持！AMD銳龍8000桌面APU曝光：集顯把入門卡虐成炮灰 當前資訊
- 世界動態(tài):做醪糟用什么米(做醪糟用什么米)
- 世界百事通！德云社違反衛(wèi)生管理， 未取得衛(wèi)生許可證被罰3萬
- 湖北省地方金融監(jiān)督管理局黨組書記、局長段銀弟接受審查調(diào)查
- 謝暉或遭足協(xié)追罰？怒懟球迷可以理解，大連足球底蘊已喪失殆盡
- 焦點消息！青龍圖騰淮上講的什么(青龍圖騰誰先喜歡誰)
- 日本推出知識產(chǎn)權(quán)推進計劃 將探討生成式 AI 必要管理的措施
- OpenAI首席執(zhí)行官同韓總統(tǒng)會面：建議韓國增加系統(tǒng)芯片產(chǎn)能 放寬規(guī)制營造AI生態(tài)系統(tǒng)
- “高考劣質(zhì)筆”事件內(nèi)情 短訊
- 歐陽靖維護歐陽娜娜：跟她合作絕對是我的榮幸
- 延安市人民醫(yī)院順利完成2023年醫(yī)師資格實踐技能陜北片區(qū)考試任務(wù)
- 機會僅一次！曝皇馬對凱恩下最后通牒：施壓熱刺，降5000萬來投
- AI前哨 | Open AI聯(lián)合創(chuàng)始人Sam AItman：目前開源不是最佳路徑-全球微動態(tài)
- 虞書欣方否認與吳建豪戀情：不再陷入自證危機
- 新突破、國際首次 中國科學(xué)技術(shù)領(lǐng)域成果頻出 當前熱聞
- 世界報道:長安大學(xué)學(xué)子以“三色”模式助力陜西鄉(xiāng)村振興
- 世界熱點！極目時評丨環(huán)衛(wèi)母親與高考兒子相擁而泣刷屏，普通人改變命運的努力打動人心
- 2023中國（山東）消費品供應(yīng)鏈生態(tài)大會在濟隆重舉行|當前資訊
- 焦點信息:沃格爾：執(zhí)教杜蘭特和執(zhí)教詹姆斯很相似 那是一種合作關(guān)系
- 英偉達人工智能軟件存在安全漏洞 可被操控泄露個人信息
- 熱點聚焦：蘋果Epic對決或重燃：雙方均申請重新審議判決
- “牽手門”連衣裙月銷4000+ 賣家呼吁理性消費！
- 年內(nèi)定增募資排行榜：7家公司募資超百億元
- 《潛行者2》確認不參加6月的Xbox發(fā)布會
- 回歸廣東，28歲林高遠上任新崗位，提拔亮相，王皓馬琳送祝福_世界看熱訊
- 中國5月狹義乘用車零售預(yù)計達173.0萬輛 新能源車銷量達58.0萬輛
- 當前熱點-陜西發(fā)布高校畢業(yè)生就業(yè)創(chuàng)業(yè)政策服務(wù)指南
- 數(shù)字化是方向——打造數(shù)字孿生是謀劃縣鄉(xiāng)發(fā)展的現(xiàn)實契機（十九）
- 世界微速訊：昔日荒山變?yōu)樾腋！敖鹕健?桃園變成農(nóng)民增收“致富園”
- 羅馬尼亞vs斯洛文尼亞時間？
- 天天微速訊：扎克伯格評蘋果MR新品：價格是自家產(chǎn)品的7倍 但沒看到什么突破
- 微速訊：宋奇英
- 紅寶石電解電容_康富松電解電容
- 各地稅務(wù)部門不斷優(yōu)化服務(wù) 前5個月新辦涉稅經(jīng)營主體643.5萬戶
- 環(huán)球今熱點：高考結(jié)束，河南多家景區(qū)發(fā)布免票、優(yōu)惠政策
- 蘋果的定位服務(wù)有什么用_蘋果定位服務(wù)有什么用簡介介紹 全球微頭條
- 每日視訊：10度穿什么衣服男_10度穿什么
- 科三考試燈光操作語音播報_科三考試燈光操作
- 天天動態(tài):本賽季季后賽至今波普總共代表掘金出場18次
- 中國平安運動意外險怎么樣？怎么買？
- 世界今亮點！意外險需要什么材料去報銷？報銷比例是多少？
- 最新：夜幕下，一個群體帶動城市消費新熱潮
- 一周鋼廠動態(tài)匯總（6月5日-6月9日）|世界獨家
- 當前消息！搜救犬被確診淋巴瘤晚期，主人帶它最后一次出門，小鎮(zhèn)居民集體出動陪它散步向它告別
- 歷時100天，180余項活動陸續(xù)開展，長春消夏藝術(shù)節(jié)盛大啟幕
- 斗羅：史萊克四美都美出新高度，唐三和小舞結(jié)婚一吻，也太甜了_今日快看
- 長春經(jīng)濟圈環(huán)線高速項目再獲新突破_世界聚焦
- 信通萬物 提質(zhì)賦能——第31屆中國國際信息通信展覽會觀察 當前聚焦
- 經(jīng)濟日報金觀平：中國吸引跨國公司的不單是大市場
- 【焦點熱聞】西安高新區(qū)2023“文化和自然遺產(chǎn)日”主題活動啟動
- IDC：聯(lián)想服務(wù)器連續(xù)三季度全球第三_環(huán)球今日訊
- 全球通訊！多措并舉促進應(yīng)屆高校畢業(yè)生就業(yè) 網(wǎng)絡(luò)招聘活動忙
- 每日快看：新突破、國際首次 中國科學(xué)技術(shù)領(lǐng)域成果頻出
- 夜幕下，一個群體帶動城市消費新熱潮
- 冬天的花有哪些？你都見過嗎？
- 關(guān)于鐵路計次票、定期票 如何購買使用
- 沃格爾：未來幾年我們都可以去爭冠 這是太陽最好的時代_天天速看料
- 國產(chǎn)榴蓮要來了！海南首批國產(chǎn)榴蓮預(yù)計6月上市_天天快資訊
- 陜西西安推動“十里灃河”文旅深度融合 古老灃河涌動新活力-全球觀點
- 全球短訊！暗黑4專注之威能介紹
- 當前視訊！這個小城培育發(fā)展新業(yè)態(tài) “平羅八點半”夜經(jīng)濟啟動
- 血腥風(fēng)格銀河惡魔城新作《Cookie Cutter》實機預(yù)告賞
- 暗黑4穩(wěn)壓威能介紹 焦點精選
- 前五個月全國累計新辦涉稅經(jīng)營主體643.5萬戶
- 當前滾動:八村塁要8000萬加首發(fā)位置 不保證續(xù)約湖人 離開詹姆斯打快樂籃球
- 首發(fā)價39999元 三星發(fā)布98英寸Q80Z巨幕電視：送電視、手機 當前要聞
- 廣州市2023年普通高考感謝信 焦點熱門
- 【文體市場面面觀】“兩個效益”彰顯文化企業(yè)使命擔(dān)當
- 中經(jīng)評論：以“村BA”點燃鄉(xiāng)村活力_天天觀點
- 國產(chǎn)最大盾構(gòu)主軸承“破壁者”面世
- 蒼穹巨靈·內(nèi)蒙古篇 看點
- 環(huán)球動態(tài):斗魚美股跌6.48%
- 無錫堰橋：馳而不息 繪就“人水和諧”新圖景
- 這一哭 全世界都對不起她了？
- 焦點快報!排列三2023151期漁王網(wǎng)三預(yù)測
- 哈維爾被喊下課卻獲海港內(nèi)部力挺：我們很有凝聚力 環(huán)球頭條
- 觀焦點：名宿：國米具備戰(zhàn)勝曼城所需的所有素質(zhì)，小因的戰(zhàn)術(shù)克制瓜迪奧拉
- 金山云美股漲7.72%-環(huán)球熱文
- 今日熱訊：中方駁斥：無中生有、信口雌黃、惡意詆毀！
- 專訪《米體》王牌記者：國米拿什么擊敗曼城？|全球視訊
- 中國商業(yè)航天發(fā)展大會聚焦商業(yè)航天產(chǎn)業(yè)發(fā)展
- 2023款全新瑞邁重塑入門級皮卡天花板，江西五十鈴產(chǎn)品線煥新再出王牌
- 2023款全新瑞邁重塑入門級皮卡天花板，江西五十鈴產(chǎn)品線煥新再出王牌
- 谷歌錢包超越蘋果錢包了嗎？3項很酷的新功能反殺
- 最后三天！魅族無界即將降臨，行業(yè)外觀的新標桿來了
- 世界速讀：金觀平：中國吸引跨國公司的不單是大市場
- 全國已收獲冬小麥面積2.04億畝——“三夏”機收快速推進 每日熱議
- 西藏實施質(zhì)量強區(qū)戰(zhàn)略-視訊
- 【天天播資訊】認準這些高校！2023年山東具有普通高等學(xué)歷教育招生資格高校名單
- 【文體市場面面觀】“兩個效益”彰顯文化企業(yè)使命擔(dān)當 每日消息
- 天天要聞：進一步提振民間投資信心
- 快來參與！2023年“好網(wǎng)民·在淄博”優(yōu)秀故事開始征集！
- 今起，12306上線新功能！|環(huán)球熱議
- 微軟、谷歌測試人工智能搜索廣告的策略激怒廣告主
- 政府專項補貼會計分錄（收到政府補貼會計分錄）|焦點播報
- 當前頭條：大林寺桃花拼音版帶拼音（大林寺桃花拼音版）
- 資訊：科學(xué)排雷 | 近視了戴眼鏡，度數(shù)會加深嗎
- 速訊：名義利率實際利率計算（名義利率和實際利率的區(qū)別）
- 生活中的小數(shù)手抄報資料圖片（生活中的小數(shù)手抄報資料）
- 談笑江湖下載（談笑江湖）
- 全球資訊：多輪對話、邏輯和數(shù)學(xué)能力升級，訊飛星火大模型V1.5發(fā)布 | 科技前線
- 筆記本電腦老是重啟什么原因 環(huán)球報資訊
- 俄羅斯公布全新國產(chǎn)PC電腦 全球速訊
- 世界動態(tài):非自然死亡下載百度網(wǎng)盤（非自然死亡百度云網(wǎng)盤）
- be aware of什么意思（be aware of） 世界報道
- by thr end of的用法（by the end of 用法例句）
- 第二十五屆上海國際電影節(jié)開幕 紅毯群星閃耀_當前熱門
- 環(huán)球焦點！圖靈獎得主楊立昆：AI的邏輯推理和規(guī)劃能力有限，會犯事實錯誤和邏輯錯誤
- 證監(jiān)會：引導(dǎo)基金投顧業(yè)務(wù)服務(wù)于滿足居民多樣化養(yǎng)老需要 環(huán)球信息
- 環(huán)球速看：第十九屆文博會觀察：“好客山東好品山東”受關(guān)注
- 全球熱文：馬云微博直播間（馬云微博）
- 全世界還有誰比我們還絕配求歌名_全世界還有誰比我們還絕配是什么歌？ 世界動態(tài)
- 呼吸閥工作原理動畫圖（呼吸閥工作原理動畫）
- 當前熱點-醫(yī)療器械毒性檢驗，醫(yī)療器械微生物檢測
- 三尸腦神丹是誰發(fā)明的_三尸腦神丹
- 古迦奧特曼_古迦
- 江南文化名鎮(zhèn)石湫_關(guān)于江南文化名鎮(zhèn)石湫簡述
- ullike脫毛儀_ul li 資訊
- 天天熱訊:【KARDS】如何下載手游客戶端及綁定電腦端賬戶（圖文）
- 每日焦點！白俄羅斯進口鉀肥專列抵達河南鄭州