因邦交、貿(mào)易、戰(zhàn)亂等，歷史上中國(guó)古籍時(shí)有出海，近代以來(lái)，戰(zhàn)爭(zhēng)和動(dòng)蕩更加劇了古籍的損毀和流散。據(jù)不完全估計(jì)，散居海外的中國(guó)古籍超過(guò)40萬(wàn)部、400萬(wàn)冊(cè)，包括甲骨簡(jiǎn)牘、敦煌遺書(shū)、宋元善本、明清精槧、拓本輿圖、少數(shù)民族文獻(xiàn)等等。

2019年，阿里巴巴和四川大學(xué)提出“數(shù)字化回歸”設(shè)想，四川大學(xué)歷史文化學(xué)院王果副院長(zhǎng)與該院教授、中央文史研究館館員陳力牽線搭橋，溝通北美、歐洲、日韓等地藏書(shū)機(jī)構(gòu)，獲得加州大學(xué)伯克利分校支持，達(dá)成共識(shí)，將伯克利東亞圖書(shū)館的中文古籍善本逐步數(shù)字化。

加州大學(xué)伯克利分校是美國(guó)的漢學(xué)研究重鎮(zhèn)，中文藏書(shū)量排名全美第三。首批數(shù)字化的20萬(wàn)頁(yè)古籍中，包含40余種珍貴宋元刻本、寫(xiě)本，如宋刻本《後村居士集》、北宋《金粟山大藏經(jīng)》寫(xiě)本；明清至民國(guó)時(shí)期著名學(xué)者錢(qián)謙益、翁方綱、王韜的抄本、稿本；著名藏書(shū)樓嘉業(yè)堂、密韻樓的抄本，還有命運(yùn)多舛的清文瀾閣《四庫(kù)全書(shū)》零本等，很多都是消失多年后重回公眾視線的珍本。

伯克利提供古籍的掃描圖片和編目數(shù)據(jù)，達(dá)摩院將其全部文字化。古漢語(yǔ)常用字僅有幾千，但中國(guó)古籍全部字符約有幾十萬(wàn)，絕大部分不僅沒(méi)被現(xiàn)代字庫(kù)收錄，也幾乎找不到樣本供AI學(xué)習(xí)。面對(duì)海量無(wú)標(biāo)注的數(shù)據(jù)，如何讓AI快速批量識(shí)別古籍，始終是古籍?dāng)?shù)字化領(lǐng)域的技術(shù)瓶頸。

達(dá)摩院技術(shù)團(tuán)隊(duì)與四川大學(xué)專家聯(lián)手研發(fā)了一套全新的古籍識(shí)別系統(tǒng)。利用單字檢測(cè)、無(wú)監(jiān)督單字聚類、小樣本學(xué)習(xí)、主動(dòng)學(xué)習(xí)等機(jī)器學(xué)習(xí)方法，構(gòu)造了一套邊識(shí)別古籍、邊訓(xùn)練模型的系統(tǒng)，以97.5%的準(zhǔn)確率完成對(duì)20萬(wàn)頁(yè)古籍的整體識(shí)別。

該系統(tǒng)已能批量識(shí)別百本古籍，并沉淀覆蓋3萬(wàn)多字的古籍字典。比起專家錄入，這套人機(jī)交互的識(shí)別系統(tǒng)將效率提升了近30倍。隨著古籍識(shí)別規(guī)模的擴(kuò)增，機(jī)器還會(huì)自我進(jìn)化，不斷提升準(zhǔn)確率和效率。

阿里巴巴達(dá)摩院院長(zhǎng)張建鋒表示，守護(hù)中華傳世典籍，是科技工作者和文化工作者共同的使命。阿里計(jì)劃將這套技術(shù)工具連同古籍?dāng)?shù)字化平臺(tái)一并捐贈(zèng)，交由權(quán)威公共機(jī)構(gòu)長(zhǎng)期運(yùn)營(yíng)，同時(shí)，阿里仍將在古籍?dāng)?shù)字化工作上持續(xù)投入人力物力。

與古籍打了一輩子交道的陳力說(shuō)，典籍是中華文明的傳承載體，更是人類世界的公共財(cái)產(chǎn)，希望有更多力量參與中國(guó)古籍的保護(hù)和傳承，讓更多普通人有機(jī)會(huì)接觸古籍、使用古籍，讓所有蒙塵的古籍重?zé)ㄐ律?，讓?shū)寫(xiě)在古籍里的文字活起來(lái)。

附：

“漢典重光”首批數(shù)字化古籍重要書(shū)目一覽

1、周易兼義九卷（魏）王弼（晉）韓康伯注（唐）孔穎達(dá)疏 元刻本

2、易附記十六卷[存卷一至十一]書(shū)附記十四卷詩(shī)附記十卷[存卷一至七]禮記附記囗卷[存卷四至六]春秋附記[缺卷七、九]（清）翁方綱撰 稿本，嘉業(yè)堂藏書(shū)

3、五代史闕文一卷（宋）王禹偁撰 清乾隆南昌彭氏知圣道齋抄本，清彭元瑞跋，嘉業(yè)堂藏書(shū)

4、瀛壖雜志一卷（清）王韜撰 稿本 清魏彥、左桂、孫瀜、趙烈文題記

5、金石古文八卷（題）雙華山人喬輯 清周亮工抄本 清吳騫跋

6、居業(yè)錄八卷[存卷三至四]（明）胡居仁撰 清乾隆文瀾閣四庫(kù)全書(shū)本，嘉業(yè)堂藏書(shū)

7、學(xué)思錄一卷（封面題東塾存稿）（清）陳澧撰 稿本

8、丙丁龜鑒十卷（宋）柴望撰 天一閣抄本

9、新刊履齋示兒編二十三卷（宋）孫奕撰 明抄本，天一閣、嘉業(yè)堂遞藏

10、蓬軒類記四卷（明）黃暐撰 明抄本 柯逢時(shí)校，汪氏振綺堂、劉氏嘉業(yè)堂遞藏

11、大般若波羅蜜多經(jīng)[存卷第二百五十四] 北宋寫(xiě)金栗山廣惠禪院大藏本

12、蘇文忠公文集[存一葉]（宋）蘇軾撰 宋四川眉山刻本

13、淮海集四十卷淮海后集六卷（宋）秦觀撰 宋乾道九年高郵軍學(xué)刻宋元明遞修本，嘉業(yè)堂藏書(shū)

14、傅忠肅公文集三卷（宋）傅察撰 清初經(jīng)鉏堂抄本，曹溶舊藏

15、鶴山先生大全文集一百十卷目錄二卷[存卷一至九、九六、九十九至一百零三、一百九十]（宋）魏了翁撰 民國(guó)蔣汝藻影宋抄本，密韻樓藏書(shū)

16、後村居士集五十卷目錄二卷[卷四十六至五十繆荃孫抄配]（宋）劉克莊撰 宋刻本，嘉業(yè)堂藏書(shū)

17、林子真詩(shī)一卷（明）林光宇撰 明曹學(xué)佺輯 明崇禎韓錫抄本

18、茗柯文編囗編囗卷[存初編一卷三編一卷四編一卷未編稿一卷]（清）張惠言撰 稿本 清范當(dāng)世、近人葉恭綽跋，嘉業(yè)堂藏書(shū)

19、宋百家詩(shī)存四十卷[存卷七]（清）曹廷棟輯 清文瀾閣四庫(kù)全書(shū)本

20、西清詩(shī)話三卷（題）無(wú)為子撰 明抄本，嘉業(yè)堂藏書(shū)

21、拜經(jīng)樓詩(shī)話續(xù)編二卷（清）吳騫撰 稿本，嘉業(yè)堂藏書(shū)

22、玉茗新詞四種（明）湯顯祖撰 明萬(wàn)歷四十六年雕蟲(chóng)館刻本

xiesc