您的位置:首頁 > 行業(yè) >

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)?-環(huán)球簡訊

2023-04-23 09:55:40 來源: 程序員客棧

Datawhale干貨作者:平凡@知乎,諾桑比亞大學(xué),在讀博士今天晚上,花了一點兒時間看了兩篇文章:《Emergent

Datawhale干貨

作者:平凡@知乎,諾桑比亞大學(xué),在讀博士


(資料圖片僅供參考)

今天晚上,花了一點兒時間看了兩篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior,即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時,由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素,出現(xiàn)了定性上的新能力和性質(zhì),這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個例子,每個圖都可以理解為一個任務(wù),橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模,而縱軸是準(zhǔn)確率,可以理解為模型的性能。

我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

作者發(fā)現(xiàn),當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時,網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。

從這倆例子里面我的感受是,只要數(shù)據(jù)量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話,我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

關(guān)鍵詞:

精選 導(dǎo)讀

募資55億港元萬物云啟動招股 預(yù)計9月29日登陸港交所主板

萬科9月19日早間公告,萬物云當(dāng)日啟動招股,預(yù)計發(fā)行價介乎每股47 1港元至52 7港元,預(yù)計9月29日登陸港交所主板。按發(fā)行1 167億股計算,萬

發(fā)布時間: 2022-09-20 10:39
管理   2022-09-20

公募基金二季度持股情況曝光 隱形重倉股多為高端制造業(yè)

隨著半年報披露收官,公募基金二季度持股情況曝光。截至今年二季度末,公募基金全市場基金總數(shù)為9794只,資產(chǎn)凈值為269454 75億元,同比上

發(fā)布時間: 2022-09-02 10:45
資訊   2022-09-02

又有上市公司宣布變賣房產(chǎn) 上市公司粉飾財報動作不斷

再有上市公司宣布變賣房產(chǎn)。四川長虹25日稱,擬以1 66億元的轉(zhuǎn)讓底價掛牌出售31套房產(chǎn)。今年以來,A股公司出售房產(chǎn)不斷。根據(jù)記者不完全統(tǒng)

發(fā)布時間: 2022-08-26 09:44
資訊   2022-08-26

16天12連板大港股份回復(fù)深交所關(guān)注函 股份繼續(xù)沖高

回復(fù)交易所關(guān)注函后,大港股份繼續(xù)沖高。8月11日大港股份高開,隨后震蕩走高,接近收盤時觸及漲停,報20 2元 股。值得一提的是,在7月21日

發(fā)布時間: 2022-08-12 09:56
資訊   2022-08-12

萬家基金再添第二大股東 中泰證券擬受讓11%基金股權(quán)

7月13日,中泰證券發(fā)布公告,擬受讓齊河眾鑫投資有限公司(以下簡稱齊河眾鑫)所持有的萬家基金11%的股權(quán),交易雙方共同確定本次交易的標(biāo)的資

發(fā)布時間: 2022-07-14 09:39
管理   2022-07-14

央行連續(xù)7日每天30億元逆回購 對債市影響如何?

央行12日再次開展了30億元逆回購操作,中標(biāo)利率2 10%。這已是央行連續(xù)7日每天僅進行30億元的逆回購縮量投放,創(chuàng)下去年1月以來的最低操作規(guī)

發(fā)布時間: 2022-07-13 09:38
資訊   2022-07-13

美元指數(shù)創(chuàng)近20年新高 黃金期貨創(chuàng)出逾9個月新低

由于對美聯(lián)儲激進加息的擔(dān)憂,美元指數(shù)11日大漲近1%創(chuàng)出近20年新高。受此影響,歐美股市、大宗商品均走弱,而黃金期貨創(chuàng)出逾9個月新低。美

發(fā)布時間: 2022-07-13 09:36
資訊   2022-07-13

美股三大股指全線下跌 納斯達克跌幅創(chuàng)下記錄以來最大跌幅

今年上半年,美股持續(xù)回落。數(shù)據(jù)顯示,道瓊斯指數(shù)上半年下跌15 3%,納斯達克綜合指數(shù)下跌29 5%,標(biāo)普500指數(shù)下跌20 6%。其中,納斯達克連續(xù)

發(fā)布時間: 2022-07-04 09:51
推薦   2022-07-04

融資客熱情回升 兩市融資余額月內(nèi)增加超344億元

近期A股走強,滬指6月以來上漲4%,融資客熱情明顯回升。數(shù)據(jù)顯示,截至6月16日,兩市融資余額1 479萬億元,月內(nèi)增加344 67億元,最近一個半

發(fā)布時間: 2022-06-20 09:41
資訊   2022-06-20

4個交易日凈買入超百億元 北向資金持續(xù)流入A股市場

北向資金凈流入態(tài)勢延續(xù)。繼6月15日凈買入133 59億元后,北向資金6月16日凈買入44 52億元。自5月27日至今,除6月13日以外,北向資金累計凈

發(fā)布時間: 2022-06-17 09:37
推薦   2022-06-17

熱門TAG

more
中國外貿(mào)網(wǎng)簡介 重磅突發(fā)!王思聰在上海打人?警方剛剛通報 女子隨手捐10元4個月后收到還款道謝 看到回復(fù)破防 國內(nèi)豬肉價格開啟新一輪周期?專家:國家調(diào)控政策正在起作用 彩電市場價格持續(xù)走低:50英寸千元輕松購還會降價嗎? 鶴崗中介談1.5萬全款買房:別沖動 詳情曝光系40年房齡的老房子價格自然便 穩(wěn)外貿(mào) 福建拓“新”途 福建也積極開辟國際物流新通道 這條名為BarMar的能源運輸路線以幫助緩解歐洲所面臨的能源危機 寧波銀行:聚焦主責(zé)主業(yè),更好服務(wù)實體經(jīng)濟 重磅利好!涉房企業(yè)A股融資審核放寬,“白名單”浮出水面 能源是經(jīng)濟發(fā)展的動力源泉 美國經(jīng)濟蕭條對汽車和電力市場的沖擊力有多 多頭醞釀更大爆發(fā)!美元有望再大漲近百點 廣西北部灣畔崛起國際大港 商企耕耘十年等來春暖花開時 中國A股半導(dǎo)體板塊周四大漲 十年時間增長超1200億元 2021年創(chuàng)造天津市進出口歷史最高紀(jì)錄 天津口岸完成進出口貿(mào)易值2381億美元 較2012年增長16.6% 深圳機場口岸通過發(fā)揮東南亞航線優(yōu)勢 不斷豐富進口水果品類 國際航線(含港澳臺)日均執(zhí)行客運航班量達143班次 創(chuàng)今年新高 待中吉烏鐵路建成后 將高效聯(lián)通中歐班列的中通道與南通道線路 中國與RCEP成員國經(jīng)過陸海新通道進出口總量52068標(biāo)箱 國航已率先在空客、波音機型上開展可持續(xù)航空燃料應(yīng)用 中國制造業(yè)屢創(chuàng)奇跡 牢牢站穩(wěn)世界“C位” 今年新疆不斷加大能源增產(chǎn)增供力度 新疆煤炭產(chǎn)量增長31.1%、排全國第2位 陶悅?cè)河媱潎@大健康等產(chǎn)業(yè)進行增資擴產(chǎn) 光伏電站位于Kharsaa地區(qū) 是卡塔爾首個太陽能發(fā)電廠 過去十年,重慶工業(yè)增加值總額由2012年的4291.4億元提高至2021年的7888.7億元 2021年鹽湖化工產(chǎn)業(yè)實現(xiàn)產(chǎn)值331.8億元 增長46.2% 切入儲能賽道的消費電池頭部玩家德賽電池近兩日連續(xù)打板漲停 6個二線城市首套房貸款利率跌破4% 低至3.8% 倡議項目將由德國聯(lián)邦經(jīng)濟和氣候保護部的能源研究預(yù)算提供資金