你可能聽(tīng)說(shuō)過(guò)大型語(yǔ)言模型，即能生成類人文本的人工智能系統(tǒng)。但是小型語(yǔ)言模型呢？研究人員正在努力研發(fā)更小型、更緊湊的人工智能系統(tǒng)，以解決人工智能系統(tǒng)對(duì)數(shù)據(jù)日益增長(zhǎng)的需求所帶來(lái)的一系列挑戰(zhàn)。而且，不只是如今新聞報(bào)道中的生成式人工智能模型需要變得更小，那些能夠運(yùn)營(yíng)工業(yè)設(shè)施、智慧城市或自動(dòng)駕駛汽車的人工智能系統(tǒng)也需要如此。
大型人工智能模型面臨的挑戰(zhàn)
當(dāng)你使用人工智能（無(wú)論是在手機(jī)還是筆記本電腦上）時(shí)，大部分實(shí)際計(jì)算都發(fā)生在數(shù)據(jù)中心。這是因?yàn)樽盍餍械娜斯ぶ悄苣Ｐ驮谟?jì)算上非常耗費(fèi)資源——你的筆記本電腦可能沒(méi)有足夠的計(jì)算能力來(lái)運(yùn)行查詢。這些人工智能系統(tǒng)還會(huì)消耗大量能源。據(jù)說(shuō)，在生成式人工智能模型中進(jìn)行一次查詢（例如問(wèn)“生成式人工智能是如何工作的？”這樣一個(gè)問(wèn)題）所消耗的電量相當(dāng)于一個(gè)燈泡點(diǎn)亮一小時(shí)的電量。
這給人工智能的使用帶來(lái)了兩個(gè)挑戰(zhàn)。首先，這引發(fā)了人們對(duì)人工智能可持續(xù)性的擔(dān)憂，因?yàn)闉槿斯ぶ悄芄╇姷碾娏σ矔?huì)增加溫室氣體排放。
在最近一項(xiàng)針對(duì)全球技術(shù)領(lǐng)導(dǎo)者的調(diào)查“The Impact of Technology in 2025 and Beyond: an IEEE Global Study”中，35%的人表示人工智能的實(shí)用性遠(yuǎn)遠(yuǎn)超過(guò)其能耗，而34%的人表示人工智能的能耗和實(shí)用性處于良好的平衡狀態(tài)。大約五分之一（21%）的人認(rèn)為人工智能的益處是顯著的，但高能耗仍然是一個(gè)問(wèn)題，而8%的人認(rèn)為大量的能耗超過(guò)了人工智能的益處。
其次，這意味著任何依賴人工智能的事物要么需要更多的電力來(lái)運(yùn)行，要么需要連接到數(shù)據(jù)中心。
削減人工智能規(guī)模的前沿技術(shù)正在取得一些成功（https://spectrum.ieee.org/1-bit-llm）。
IEEE會(huì)員Jay Shah表示：“這些（技術(shù)）耗電量顯著降低，通常在瓦特范圍內(nèi)運(yùn)行，而不是大型數(shù)據(jù)中心系統(tǒng)消耗的千瓦或兆瓦。”
誰(shuí)需要緊湊型人工智能？
更小、更節(jié)能的人工智能系統(tǒng)可以用于多種應(yīng)用，比如自動(dòng)駕駛汽車。
Shah說(shuō)：“就長(zhǎng)期可靠性和降低功耗而言，下一代低功耗人工智能加速器對(duì)自動(dòng)駕駛汽車的未來(lái)至關(guān)重要。它們能夠?qū)崿F(xiàn)實(shí)時(shí)決策并實(shí)現(xiàn)更緊湊的設(shè)計(jì)?！?/p>
同時(shí)，它們對(duì)機(jī)器人系統(tǒng)來(lái)說(shuō)也是個(gè)福音，因?yàn)樗鼈儗⒔档蜋C(jī)器人的電力需求。
IEEE高級(jí)會(huì)員Cristiane Agra Pimentel表示，緊湊型人工智能系統(tǒng)在工業(yè)環(huán)境中也將很有用，在這種環(huán)境中，更小的控制系統(tǒng)可以使工廠流程自動(dòng)化。
Pimentel說(shuō)：“在工業(yè)領(lǐng)域使用緊湊型人工智能將越來(lái)越適用于機(jī)器操作控制、產(chǎn)品追溯控制和供應(yīng)鏈系統(tǒng)管理?！?/p>
小型人工智能存在權(quán)衡取舍
大型語(yǔ)言模型通常適用于多種用途。它們可以協(xié)助撰寫(xiě)大學(xué)論文，還能幫你構(gòu)建網(wǎng)站。緊湊型系統(tǒng)可以針對(duì)特定系統(tǒng)進(jìn)行優(yōu)化。它們可以被設(shè)計(jì)成公司的聊天機(jī)器人或者自動(dòng)補(bǔ)全計(jì)算機(jī)代碼。
但是，緊湊型人工智能系統(tǒng)目前準(zhǔn)確性較低，因?yàn)樗鼈兺ǔＪ褂幂^少的數(shù)據(jù)。
Shah表示：“考慮到低功耗、更快的推理時(shí)間以及在邊緣設(shè)備上運(yùn)行人工智能的能力等好處，這些權(quán)衡通常是可以接受的。研究人員和開(kāi)發(fā)人員會(huì)繼續(xù)努力提高緊湊型人工智能系統(tǒng)的準(zhǔn)確性，同時(shí)保持其效率優(yōu)勢(shì)?！?/p>
了解更多：EEE計(jì)算機(jī)協(xié)會(huì)最近發(fā)表了一篇關(guān)于小型語(yǔ)言模型的優(yōu)勢(shì)和挑戰(zhàn)的深度文章。去看看吧：https://www.computer.org/csdl/magazine/co/2024/08/10632613/1ZgY9z1BTGM。
