深度學(xué)習(xí)模型并非“越大越好”,它可能引起氣候變化問(wèn)題

文章來(lái)源:科技薈萃碳交易網(wǎng)2020-06-23 09:56

本月早些時(shí)候,OpenAI宣布已經(jīng)建成史上最大的人工智能模型,該模型規(guī)模驚人,被命名為“GPT-3”,是一項(xiàng)令人印象深刻的技術(shù)成就。然而,它卻凸顯了人工智能領(lǐng)域的一個(gè)隱患。
 
現(xiàn)代人工智能模型需要消耗大量能量,并且這些能量需求正以驚人的速度增長(zhǎng)。在深度學(xué)習(xí)時(shí)代,產(chǎn)生一流的人工智能模型所需的計(jì)算資源,平均每3.4個(gè)月翻一番;這意味著,能量需求在2012年至2018年之間增加了300,000倍。而“GPT-3”只是這種指數(shù)級(jí)增長(zhǎng)軌跡上的一個(gè)最新節(jié)點(diǎn)。
 
 
深度學(xué)習(xí)模型真的越大越好嗎?
 
在今天,人工智能的碳足跡是有意義的,而如果這個(gè)行業(yè)趨勢(shì)繼續(xù)下去,情況將很快變得糟糕得多。除非我們?cè)敢庵匦略u(píng)估并改革當(dāng)今的人工智能研究方向,否則,人工智能領(lǐng)域可能會(huì)成為我們?cè)谖磥?lái)幾年中應(yīng)對(duì)氣候變化的對(duì)手。
 
GPT-3很好地說(shuō)明了這種現(xiàn)象。該模型包含多達(dá)1750億個(gè)參數(shù)。如何理解這個(gè)數(shù)字呢?不妨參考一下它的前身模型GPT-2,它在去年發(fā)布時(shí)被認(rèn)為是最先進(jìn)的,GPT-2只有15億個(gè)參數(shù)。去年GPT-2的訓(xùn)練耗費(fèi)了數(shù)十千兆次/天,這個(gè)計(jì)算輸入的數(shù)量已經(jīng)非常龐大了,而GPT-3需要的數(shù)量可能是GPT-2的好幾千倍。
 
依靠越來(lái)越大的模型,來(lái)推動(dòng)人工智能技術(shù)進(jìn)步,這種做法的問(wèn)題在于,構(gòu)建和部署這些模型需要大量的能源消耗,并因此產(chǎn)生碳排放。
 
在2019年一項(xiàng)被廣泛討論的研究《Energy and Policy Considerations for Deep Learning in NLP(NLP深度學(xué)習(xí)的能源和政策考慮)》中,由Emma Strubell領(lǐng)導(dǎo)的一組研究人員,評(píng)估了訓(xùn)練單個(gè)深度學(xué)習(xí)模型的能量消耗,這個(gè)數(shù)值可能高達(dá)626,155磅的二氧化碳排放量——約相當(dāng)于五輛汽車在整個(gè)生命周期內(nèi)的碳足跡。相比之下,一個(gè)普通的美國(guó)人每年產(chǎn)生的二氧化碳排放量大約是36,156磅。
 
可以肯定的是,這項(xiàng)評(píng)估針對(duì)的是能耗特別高的模型。如今,訓(xùn)練一個(gè)普通規(guī)模的機(jī)器學(xué)習(xí)模型產(chǎn)生的碳排放量應(yīng)該遠(yuǎn)遠(yuǎn)小于626,155磅。
 
同時(shí)值得注意的是,在進(jìn)行這項(xiàng)分析時(shí),GPT-2是當(dāng)時(shí)可供研究的、最大的模型,研究人員將其視為模型大小的上限。可僅僅一年之后,GPT-2看上去很袖珍了,比它的后繼產(chǎn)品小了一百倍。
 
那么,機(jī)器學(xué)習(xí)模型到底為什么會(huì)需要消耗這么多的能量呢?
 
第一個(gè)原因是,用于訓(xùn)練這些模型的數(shù)據(jù)集的大小在不斷地膨脹。在2018年,BERT模型在使用了30億個(gè)單詞的數(shù)據(jù)集進(jìn)行訓(xùn)練之后,實(shí)現(xiàn)了同類中最佳的NLP(自然語(yǔ)言處理)性能。XLNet使用了320億個(gè)單詞的數(shù)據(jù)集進(jìn)行訓(xùn)練,并且在性能上超過(guò)了BERT。不久之后,GPT-2接受了400億個(gè)單詞的數(shù)據(jù)集的訓(xùn)練。而讓之前所有此類工作都相形見(jiàn)絀的是,GPT-3將使用一個(gè)包含5,000億個(gè)單詞的加權(quán)數(shù)據(jù)集進(jìn)行訓(xùn)練。
 
在訓(xùn)練過(guò)程中,神經(jīng)網(wǎng)絡(luò)會(huì)針對(duì)輸入的每條數(shù)據(jù),執(zhí)行一整套冗長(zhǎng)的數(shù)學(xué)運(yùn)算(既包括正向傳播,也包括反向傳播),并且以復(fù)雜的方式更新其參數(shù)。因此,更大的數(shù)據(jù)集,就會(huì)轉(zhuǎn)化為飛速增長(zhǎng)的計(jì)算和能源需求。
 
導(dǎo)致人工智能巨大能量消耗的另一個(gè)原因是,開(kāi)發(fā)模型所需要進(jìn)行的大量實(shí)驗(yàn)和調(diào)校。今天的機(jī)器學(xué)習(xí),在很大程度上仍然是反復(fù)試錯(cuò)的練習(xí)。從業(yè)人員通常會(huì)在訓(xùn)練過(guò)程中針對(duì)給定模型構(gòu)建數(shù)百個(gè)不同的版本,在確定最佳設(shè)計(jì)之前,他們會(huì)嘗試不同的神經(jīng)體系架構(gòu)和超參數(shù)。
 
上述提到的那篇2019年研究論文中,描述了一個(gè)案例研究。研究人員們選擇了一個(gè)平均規(guī)模的模型——比GPT-3之類的博人眼球的龐然大物要小得多,并且不僅檢查了訓(xùn)練最終版本所需的能量,還測(cè)量了為了生產(chǎn)這個(gè)最終版本進(jìn)行的各種測(cè)試的總體能量消耗。
 
在六個(gè)月的過(guò)程之中,他們培訓(xùn)了4,789個(gè)不同版本的模型,總共需要花費(fèi)9,998天的GPU時(shí)間(超過(guò)27年)??紤]到所有這些因素,這些研究人員估計(jì),構(gòu)建該模型總計(jì)要產(chǎn)生78,000磅的二氧化碳排放量,超過(guò)一個(gè)普通美國(guó)成年人兩年的碳排放量。
 
到此為止,這次討論還僅僅涉及了機(jī)器學(xué)習(xí)模型的訓(xùn)練環(huán)節(jié)。但是訓(xùn)練只是一個(gè)模型生命周期的起點(diǎn)。模型訓(xùn)練完成之后,就會(huì)在現(xiàn)實(shí)世界中得到應(yīng)用。
 
部署人工智能模型,讓它們?cè)诂F(xiàn)實(shí)環(huán)境中采取行動(dòng)——這個(gè)過(guò)程被稱為推理,該過(guò)程的能耗比訓(xùn)練環(huán)節(jié)更高。實(shí)際上,英偉達(dá)公司(Nvidia)估計(jì),神經(jīng)網(wǎng)絡(luò)80%至90%的能量消耗出現(xiàn)在推理環(huán)節(jié),而不是訓(xùn)練環(huán)節(jié)。
 
例如,想想自動(dòng)駕駛汽車中的人工智能。首先必須要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行培訓(xùn),讓它學(xué)會(huì)駕駛。在訓(xùn)練完成并部署到自動(dòng)駕駛汽車上之后,模型會(huì)不斷地進(jìn)行推理,才能在環(huán)境中行駛,只要汽車還在使用之中,這個(gè)過(guò)程就會(huì)日復(fù)一日地持續(xù)下去。
 
毋庸置疑,模型具有的參數(shù)越多,對(duì)這種持續(xù)不斷的推理的能量需求就越高。
本*文`內(nèi)/容/來(lái)/自:中-國(guó)-碳^排-放“交|易^網(wǎng)-tan pai fang . c o m

 
【版權(quán)聲明】本網(wǎng)為公益類網(wǎng)站,本網(wǎng)站刊載的所有內(nèi)容,均已署名來(lái)源和作者,僅供訪問(wèn)者個(gè)人學(xué)習(xí)、研究或欣賞之用,如有侵權(quán)請(qǐng)權(quán)利人予以告知,本站將立即做刪除處理(QQ:51999076)。

省區(qū)市分站:(各省/自治區(qū)/直轄市各省會(huì)城市碳交易所,碳市場(chǎng),碳平臺(tái))

華北【北京、天津、河北石家莊保定、山西太原、內(nèi)蒙】東北【黑龍江哈爾濱、吉林長(zhǎng)春、遼寧沈陽(yáng)】 華中【湖北武漢、湖南長(zhǎng)沙、河南鄭州】
華東【上海、山東濟(jì)南、江蘇南京、安徽合肥、江西南昌、浙江溫州、福建廈門】 華南【廣東廣州深圳、廣西南寧、海南??凇?/span>【香港,澳門,臺(tái)灣】
西北【陜西西安、甘肅蘭州、寧夏銀川、新疆烏魯木齊、青海西寧】西南【重慶、四川成都、貴州貴陽(yáng)、云南昆明、西藏拉薩】
關(guān)于我們|商務(wù)洽談|廣告服務(wù)|免責(zé)聲明 |隱私權(quán)政策 |版權(quán)聲明 |聯(lián)系我們|網(wǎng)站地圖
批準(zhǔn)單位:中華人民共和國(guó)工業(yè)信息部 國(guó)家工商管理總局? 指導(dǎo)單位:發(fā)改委 生態(tài)環(huán)境部 國(guó)家能源局 各地環(huán)境能源交易所
電話:13001194286
Copyright@2014 tanpaifang.com 碳排放交易網(wǎng) All Rights Reserved
國(guó)家工信部備案/許可證編號(hào)京ICP備16041442號(hào)-7
中國(guó)碳交易QQ群:?6群碳交易—中國(guó)碳市場(chǎng)??5群中國(guó)碳排放交易網(wǎng)