無論用戶的目標(biāo)是將基礎(chǔ)模型原封不動地用于推理，還是根據(jù)具體的用例和數(shù)據(jù)進(jìn)行調(diào)整，他們都需要了解LLM對機(jī)器的要求以及如何最好地管理模型。如果能夠利用用戶專有的數(shù)據(jù)開發(fā)和訓(xùn)練出針對特定用例的模型，那么用戶的AI項(xiàng)目就能為其帶來最大的創(chuàng)新和回報(bào)。在使用LLM開發(fā)新功能和應(yīng)用時(shí)，參數(shù)規(guī)模最大的模型可能會對機(jī)器性能提出極高的要求，因此數(shù)據(jù)科學(xué)家們開發(fā)出了一些辦法來幫助降低處理開銷和管理LLM輸出準(zhǔn)確性。

量化就是其中的一種辦法。該技術(shù)通過修改LLM內(nèi)部參數(shù)（即權(quán)重）的數(shù)學(xué)精度來縮小LLM的規(guī)模。降低位精度會對LLM產(chǎn)生兩方面的影響：一是減少處理所占用的空間和對內(nèi)存的需求，二是影響LLM的輸出準(zhǔn)確性。量化可以看作是JPEG圖像壓縮，雖然壓縮得越多，創(chuàng)建出的圖像效率就越高，但在某些用例中可能會使圖像變得模糊不清。

在實(shí)際應(yīng)用中，如果用戶想要運(yùn)行量化為4位精度的Llama-2模型，可以考慮戴爾Precision 3000和5000系列的多款移動工作站。

戴爾科技全新的3000和5000系列移動工作站集成了CPU，NPU，GPU多處理器組合，能夠優(yōu)化100多款應(yīng)用中的AI性能，使其運(yùn)行更快、能效更高。例如，它們可支持全新的協(xié)作體驗(yàn)，如AI驅(qū)動的視頻會議，提供背景模糊、面部取景和視線糾正等功能。NPU能有效地卸載CPU或GPU上的任務(wù)，使功耗降低高達(dá)40% 。這意味著電池續(xù)航時(shí)間更長，用戶無需頻繁充電即可持續(xù)工作。此外，新款CPU還配備了速度更快的集成顯卡，為更多媒體密集型AI工作負(fù)載提供卓越性能。CPU、NPU和GPU協(xié)同工作，共同打造靈活、高性能且節(jié)能的AI引擎，為用戶帶來絕佳體驗(yàn)。

此外，全新戴爾Precision 3490和3590移動工作站最高可搭載NVIDIA RTX? 500 Ada圖形處理器，提升專業(yè)用戶的工作效率。Precision 3591則專注于設(shè)計(jì)與創(chuàng)作領(lǐng)域，輕松應(yīng)對入門級2D和3D CAD應(yīng)用。而Precision 5000系列移動工作站將創(chuàng)意應(yīng)用的性能提升到了新的高度，Precision 5690憑借其小巧的16英寸機(jī)身 ，為用戶帶來出色的創(chuàng)意應(yīng)用體驗(yàn)。它具備廣闊的視野、出色的便攜性和強(qiáng)大的應(yīng)用性能，最高可配備NVIDIA RTX? 5000圖形處理器。同時(shí)，機(jī)身小巧但強(qiáng)大功能的Precision 5490作為一款14英寸超便攜設(shè)備，在性能和體驗(yàn)方面也毫不遜色。

在更高精度（BF16）運(yùn)行會增加對內(nèi)存的需求，但戴爾科技的解決方案可以在任何精度上滿足任何規(guī)模的LLM需求。戴爾Precision 7960 塔式工作站可支持多達(dá)四個(gè)NVIDIA 高性能GPU，其AI處理能力比上代產(chǎn)品高出80% 且每個(gè)GPU的VRAM高達(dá)48GB，而VRAM是處理GenAI大語言模型最關(guān)鍵的配置之一。

那么如何解決輸出準(zhǔn)確性所受到的影響？另一種被稱為微調(diào)的技術(shù)可以通過在特定數(shù)據(jù)上重新訓(xùn)練LLM的參數(shù)子集來提高準(zhǔn)確性，進(jìn)而提高特定用例中的輸出準(zhǔn)確性。微調(diào)會調(diào)整某些已訓(xùn)練參數(shù)的權(quán)重，能夠加快訓(xùn)練過程并提高輸出準(zhǔn)確性。通過將微調(diào)與量化相結(jié)合，就可以產(chǎn)生針對特定應(yīng)用的小語言模型，這些模型非常適合部署到對AI處理能力要求較低的各種設(shè)備上。同樣，如果開發(fā)人員想要對LLM進(jìn)行微調(diào)，也可以放心地將Precision工作站作為構(gòu)建GenAI解決方案過程中的沙盒。

在使用LLM時(shí)這些不同技術(shù)不會相互排斥。把它們結(jié)合在一起使用往往會帶來更高的運(yùn)行效率和準(zhǔn)確性。

總之，LLM的規(guī)模以及哪些技術(shù)能夠?yàn)橛行褂肔LM所需的計(jì)算系統(tǒng)配置提供最佳參考都是關(guān)鍵的決定因素。戴爾科技堅(jiān)信無論用戶在其AI旅程中想要朝哪個(gè)方向發(fā)展，戴爾科技的臺式機(jī)、數(shù)據(jù)中心等解決方案都將為其提供助力。

doitmedia