這是在網(wǎng)上找到的LLmOS圖，還有幾年后對大語言模型的愿景——知識比任何一個人都多，能瀏覽網(wǎng)頁，能使用現(xiàn)有軟件，比如計(jì)算器，Python等，還可以查看和生成圖像和視頻，能聽能說，能生成音樂，會慢速思考，能自我升級，能為定制任務(wù)進(jìn)行微調(diào)，還可以和其他大模型通信。

感言：自我升級，任務(wù)微調(diào)，這讓我想到劉慈欣的一部科幻小說《贍養(yǎng)上帝》，未來隨著AI無所不能，機(jī)器可以自我維護(hù)，人類僅僅作為服務(wù)對象存在，他們會忘記生存的手段，忘記技術(shù)與科學(xué)…雖然百年內(nèi)不會發(fā)生，但依然讓人毛骨悚然。

AI模型發(fā)展的關(guān)鍵因素：

在AI模型的發(fā)展中,模型的規(guī)模無疑是最重要的因素。但除了規(guī)模之外,還有很多其他重要因素,例如數(shù)據(jù)質(zhì)量、算法選擇、訓(xùn)練技巧等等。規(guī)?？梢钥醋魇悄Ｐ托阅艿纳舷?而這些其他因素則決定了我們能在多大程度上逼近這個上限。

此外,強(qiáng)大的計(jì)算基礎(chǔ)設(shè)施和優(yōu)秀的人才也是不可或缺的。單靠資金和計(jì)算資源是不夠的，還需要在算法、工程等方面有深厚積累的團(tuán)隊(duì)。

開源AI生態(tài)的現(xiàn)狀和發(fā)展：

目前所謂的開源AI模型往往只是開放了訓(xùn)練后的模型權(quán)重,并沒有提供數(shù)據(jù)、代碼等一整套訓(xùn)練基礎(chǔ)設(shè)施,因此還不能算是真正意義上的開源。開放大模型權(quán)重但不公開數(shù)據(jù)和代碼，類似一個廚子公開分享了他拿手菜的精確配料比例（權(quán)重），但沒有提供購買這些配料的地點(diǎn)（數(shù)據(jù)）或具體的烹飪步驟（代碼）。

真正的開源需要對整個流程進(jìn)行開放,讓社區(qū)可以基于這些模塊進(jìn)行創(chuàng)新。一些大公司可以考慮更多地支持開源生態(tài)的發(fā)展,這不僅有利于推動AI民主化,也有利于整個產(chǎn)業(yè)的進(jìn)步。

模型組合性方面的進(jìn)展和思考

與傳統(tǒng)軟件開發(fā)相比,當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型在組合性方面還有所欠缺。不過也有一些組合使用的例子,比如可以將預(yù)訓(xùn)練好的模型組件進(jìn)行組裝,然后在下游任務(wù)上進(jìn)行微調(diào)。但總的來說,目前還沒有一套系統(tǒng)性的模型組合方法論。未來可能需要在模塊化、標(biāo)準(zhǔn)化等方面做更多的研究。

成本和性能的權(quán)衡

在實(shí)際的開發(fā)中,我們通常會面臨模型性能和計(jì)算成本之間權(quán)衡。一般的策略是先追求盡可能好的性能指標(biāo),而把成本優(yōu)化放到后面。比如我們可以先用盡量好的模型去生成高質(zhì)量的訓(xùn)練數(shù)據(jù),然后再訓(xùn)練一個更小更便宜的模型去擬合這些數(shù)據(jù)?？偟膩碚f,我們應(yīng)該遵循”先讓系統(tǒng)work起來,再去考慮優(yōu)化”的原則,即功能第一,優(yōu)化第二。

AI的局限性

AI尤其是如ChatGPT這樣的大模型，在處理復(fù)雜問題時(shí)存在局限性。雖然它們在收集數(shù)據(jù)和推理方面很強(qiáng)大，但并不能理解或處理問題的深層邏輯。人類和模型的思維差異導(dǎo)致了處理問題的難易程度不同，模型難以完全模擬人類的邏輯推理過程。

對未來AI發(fā)展的期待

為了讓AI模型更加高效和智能，需要探索新的訓(xùn)練方法，使模型的學(xué)習(xí)過程更加符合人類的學(xué)習(xí)方式，包括練習(xí)、筆記、重構(gòu)概念等。他將AI發(fā)展比作是要進(jìn)入“研究院”，強(qiáng)調(diào)AI也需要像人類一樣進(jìn)行深入的自主學(xué)習(xí)。

崔歡歡