值得一提的是,本次開源的QAnything是一套完整的RAG系統(tǒng),包括專門優(yōu)化的自研的embedding和rerank模型,微調(diào)后的LLM,優(yōu)化后的推理代碼,向量數(shù)據(jù)庫,以及一個立即上手可用的前端。所有的算法模型(包括7B大模型+embedding/rerank+OCR)占用顯存不超過16G。
如今,QAnything已在有道的多個產(chǎn)品中應(yīng)用,包括有道翻譯文檔問答、有道速讀及有道內(nèi)部業(yè)務(wù)的客服系統(tǒng)等。
以有道速讀為例,它是前不久子曰教育大模型最新發(fā)布的創(chuàng)新應(yīng)用成果之一,目前上線在有道翻譯中。針對大家在日常生活中的閱讀文檔需求,有道速讀內(nèi)置了文檔問答、文章摘要、要點解讀、引文口碑和領(lǐng)域綜述五大功能,能夠幫大家更快更準(zhǔn)地獲得信息和對文檔的理解。而該功能背后的驅(qū)動就是QAnything,在大模型技術(shù)的加持下,用戶能夠?qū)崿F(xiàn)快速理解文檔、定位要點,實現(xiàn)1分鐘讀完萬字長文。
“目前,QAnything項目還在不斷迭代,歡迎大家參與開發(fā),并給予我們更多反饋。我們希望能幫助有需要的開發(fā)者們,和更多伙伴一起推動大模型的落地。”網(wǎng)易有道首席科學(xué)家段亦濤介紹道。