圖表取自《FP8 Formats for Deep Learning》白皮書

此外,F(xiàn)P8最大限度地減少了它與IEEE 754浮點格式的偏差,在軟硬件之間取得了良好的平衡,因而得以利用現(xiàn)有的實作,加速采用,并改善開發(fā)者的生產力。

根據(jù)實驗,不管是在Transformer、電腦視覺或是GAN網絡上,F(xiàn)P8訓練的準確性都類似16比特位的結果,但能效上卻有極大的進步。例如英偉達的Hopper在BERT高精確模型上采用FP8格式,在無損準確性的狀態(tài)下創(chuàng)造了4.5倍的速度。

圖片來自英偉達

此一規(guī)格將采用開放及免費授權形式,旨在由一個可維持準確性的交換格式,讓AI模型于所有硬件平臺上都能有一致的表現(xiàn)。

分享到

崔歡歡

相關推薦