高級階段：《復(fù)雜性》

作者：[美]尼古拉斯·雷舍爾(NICHOLAS RESCHER)

翻譯：吳彤

?

學(xué)完中級階段，你接觸到了一件事，“復(fù)雜性”，知道了事情復(fù)雜到一定程度，就不可能用尋找因果的方法去進行預(yù)測。

那么到底什么是復(fù)雜性，它的本質(zhì)和原理是什么?想成為大數(shù)據(jù)高手，你不能對此一無所知，因為你將一輩子與復(fù)雜甚至是極其復(fù)雜的事情打交道。

如果你讀完了《失控》，可能此時心理在想：尼瑪，《失控》這本書已經(jīng)夠難讀懂的了(沒錯，要不微信老總張小龍也不會說，能讀完這本書的可以直接去他公司上班。注意他說的是“讀完”，不是“讀懂”)，那也才是個中級，這個高級不是要把腦子都燒壞嗎?(你又預(yù)測對了，和這本比起來，《失控》只能算本休閑書)那我能不看這本書嗎?它和我想學(xué)的東西到底有多大關(guān)系?(你這么不聽老師話，你爸媽造嗎?)

為了你這不聽話的學(xué)生，老師就透露些內(nèi)容吧：

?

不再試圖根據(jù)事物如何必須按照理論的一般原理發(fā)展去解決問題，而是根據(jù)事物如何在通常的情況下按照我們能夠確定的最好情況去解決問題。與其尋求抽象必然性的一般原理，不如以某種經(jīng)驗主義的精神，在經(jīng)驗——帶有它的全部特征偶然性和潛在不完備性——中尋求指引。

被稱為科學(xué)規(guī)律的牛頓世界秩序(Newtonian world order)的狂熱愛好者。他們的觀點是牛頓、拉普拉斯(Laplace)和達爾文的相應(yīng)世界觀，將世界看作自然規(guī)律的有序框架�？档轮髁x因果關(guān)系原理(Kantian principle of causality)是他們思維中的最重要部分，世界——自然世界和人類世界——被視為宇宙，每一個事物都是有序的、規(guī)律的、理智的、可解釋的。實在被視為某種有條理的系統(tǒng)，類似于有條理的花園，排列有序且有整齊的邊界。

愛因斯坦、普朗克、薛定諤(Schrodinger)及其同伴破壞了舊物理學(xué)秩序。康托爾(Cantor)、哥德爾、海丁(Heyting)等人打破了舊的數(shù)學(xué)秩序。量子力學(xué)理論造成了因果關(guān)系的崩潰。進化論現(xiàn)在鄭重強調(diào)的不是“適者生存”，而是自然選擇不得不在其基礎(chǔ)上發(fā)揮作用的全然隨機的平臺。

(然而)機會和混沌的宇宙不是不守秩序的(無政府狀態(tài)的)，而只是復(fù)雜的，通過其自然的運轉(zhuǎn)展現(xiàn)著更高階規(guī)律的涌現(xiàn)。而當形式邏輯屈從于它的經(jīng)典不變性時，一種新的非經(jīng)典的、多值的(或者“模糊的”)邏輯業(yè)已誕生并取而代之。確定性(certainties)也有效地被或然性(probabilities)和似真性(plausibilities)所取代。

鑒于在復(fù)雜世界中對行動過程做出理智選擇難免是困難的……如果我們是相信統(tǒng)計學(xué)結(jié)論的學(xué)者，用概率統(tǒng)計推斷行為的正確性，那么事情就變得更容易處理。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ——摘自《復(fù)雜性》

?

好了，讀還是不讀，你自己看著辦吧。

對了，推薦這本書還有個原因。大家都知道大數(shù)據(jù)是研究數(shù)據(jù)的相關(guān)性，即找出數(shù)據(jù)之間的關(guān)系。當我經(jīng)歷了15年統(tǒng)計學(xué)人工智能數(shù)據(jù)相關(guān)性的探索和研究，感覺已經(jīng)研究得差不多了，但又覺得要解決所有的問題還有不小的距離，這時就感到很迷茫，不知下一步的研究該往何方去，有種路越走越窄的感覺，又有一種達到頂峰的幻覺，直到看到這本書中的一句話：

“可以考慮它們的關(guān)系，再考慮這些關(guān)系中的關(guān)系，如此下去。”

當看到這句話，用醍醐灌頂已不足以形容我當時的感受，簡直就是五雷轟頂。就好象原來我以為世界只有自家的一畝三分地，這句話如一道劃破夜空的明亮閃電，讓我突然看到了無限廣袤的宇宙，為我指明了方向，并開辟出一條金光大道。(原諒我用了這么多的有點亂的形容，每當想起這句話，我就抑制不住激動的心情)現(xiàn)在想起來，自己那達到頂峰的幻覺是多么幼稚可笑啊，可笑還不在于我沒有達到頂峰，而在于這世上本沒有頂峰(挺具有佛性的一句話，不由得讓我想起六祖的話：菩提本無樹，明鏡亦非臺，本來無一物，何處惹塵埃)。

大家千萬不要小看這句話中的“如此下去”幾個字，他指明了一個無窮疊代，即 “關(guān)系的關(guān)系的……關(guān)系”，而智能將在這里涌現(xiàn)，解決復(fù)雜性問題預(yù)測的關(guān)鍵很可能就在這里，這句話打開了一個非常廣闊的前景，將象宇宙一樣沒有窮盡。

看完這句話后，待心情稍稍平復(fù)，我立即把它寫成一個函數(shù)：

x=f(f(a,b),f(c,d))

然后告訴自己：這就是你后半生要去全力研究的東西!

現(xiàn)在我們接著往下講，還記得我一開始說過要轉(zhuǎn)變世界觀嗎?讀完這三本書，你已經(jīng)做好了世界觀轉(zhuǎn)變的準備，現(xiàn)在就要來最后一擊，完成這個轉(zhuǎn)變!

也就是說，高級階段你還要讀一本書(尼妹，還要不要人活?我?guī)湍阏f了)。你已經(jīng)了解了復(fù)雜性的原理，但這個世界到底有多復(fù)雜，你可能還沒有感性的認識。你一定覺得自己經(jīng)歷過很多非常復(fù)雜的事，比如你炒過股票、管理過幾百上千人、研究過社會學(xué)問題等等，但是和這個世界真正最復(fù)雜的事比起來，這些都不過是小兒科。

也許你已經(jīng)猜到了是什么方面的書，對，量子理論。鑒于這個理論實在太難、太復(fù)雜，愛因斯坦致死也沒把它搞明白，科學(xué)家們現(xiàn)在也都還沒把它搞明白，我輩就不用費神想去把它真正搞懂了，但由于我們是在探求事物的復(fù)雜性，或者也可以說研究事物的本質(zhì)，那么不可不對此有所了解，因此我給大家的書是這方面的最初級的科普讀物。(實在不忍心再嚇你們了。?

?

高級階段(2)：量子物理史話

作者：曹天元(沒錯，中國人)

遼寧教育出版社

你一定有疑問，“這本書就能讓我改變世界觀?”

那么我們就來看看書中說些什么吧：

?

量子世界的本質(zhì)是“隨機性”。傳統(tǒng)觀念中的嚴格因果關(guān)系在量子世界是不存在的，必須以一種統(tǒng)計性的解釋來取而代之，波函數(shù)ψ就是一種統(tǒng)計，它的平方代表了粒子在某處出現(xiàn)的概率。當我們說“電子出現(xiàn)在x處”時，我們并不知道這個事件的“原因”是什么，它是一個完全隨機的過程，沒有因果關(guān)系。

因果性必須死，因為物理學(xué)需要生!

停止爭論吧，上帝真的擲骰子!隨機性是世界的基石，當電子出現(xiàn)在這里時，它是一個隨機的過程，并不需要有誰給它加上難以忍受的條條框框。……而統(tǒng)計規(guī)律則把微觀上的無法無天抹平成為宏觀上的井井有條。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ——摘自《量子物理史話》

“統(tǒng)計規(guī)律則把微觀上的無法無天抹平成為宏觀上的井井有條”，這句話實際上就是表明，統(tǒng)計方法可以使極其復(fù)雜的隨機事件成為可預(yù)測。我認為，社會、市場、股票等等與量子世界有著很多相似之處。由于量子理論實際上是從最本質(zhì)上去研究我們存在于其中的這個世界，因此正如書中的一句話：

“這個世界的本質(zhì)：它本就是統(tǒng)計性的!”

如果你用根深蒂固的唯物主義思想(認為唯心主義絕對是錯的)去看量子理論，那么你可能很難理解它，而帶著對唯心主義一定程度的理解(不一定非要完全贊同)去看會非常有幫助。因此，我在這里建議大家也可以了解一些佛學(xué)，比如看看凈空法師說的話，這樣會有助于你站在唯心主義的角度去看問題。

????? 不是幡動，也不是風動，而是心動。

佛說：極微細的心動一下，宇宙就出現(xiàn)，森羅萬象都現(xiàn)前，同時我也出現(xiàn)了。心動，分三段，第一它動，一動就變，一轉(zhuǎn)變就成能見相，有能見立刻就有所見，所見就出現(xiàn)。能見就是意識，意識出現(xiàn)后，立刻就有所見，即物質(zhì)出現(xiàn)，故物質(zhì)是幻象，你想它就現(xiàn)相，物質(zhì)現(xiàn)相即宇宙，故宇宙的現(xiàn)前是頓現(xiàn)，不是進化的。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ——摘自《凈空法師說華嚴經(jīng)》

?

量子物理學(xué)家說：“意識”使得一切從量子疊加態(tài)中脫離，成為真正的現(xiàn)實。即第一個有意識的生物的出現(xiàn)才使得從創(chuàng)生起至那一剎那的宇宙瞬間成為現(xiàn)實，“意識”的參與可以在那一刻改變過去，而這個“過去”甚至包含了那個有意識的生物自身的演化歷史。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?——摘自《量子物理史話》

?

感覺到量子理論有多復(fù)雜了嗎?如果你對上面兩段很繞的話沒太看明白，我給你個精簡版本：

佛說：心動，宇宙就出現(xiàn)，森羅萬象現(xiàn)前，同時我也出現(xiàn);

量子物理學(xué)家說：意識使一切從量子疊加態(tài)中脫離，使宇宙歷史瞬間成現(xiàn)實，其中含有那意識生物自身。

你肯定還是覺得無法理解這些話，沒關(guān)系，你只需明白一件事就行了，佛祖在兩千多年前就預(yù)言了量子物理學(xué)家現(xiàn)在要說的話。

好了，等看完這本書，你的世界觀不改變，你來找我請你吃飯。

另外，還有一本書作為參考書可以讀一讀(別罵我，參考書，不一定非要讀)，侯世達(Douglas， R. Hofstardter)的《哥德爾、艾舍爾、巴赫》(比磚頭還厚，《失控》只是和磚頭一樣厚)。

此書的介紹：本書是在英語世界中有極高評價的科普著作。曾獲得普利策文學(xué)獎。它通過對哥德爾的數(shù)理邏輯，艾舍爾的版畫和巴赫的音樂三者的綜合闡述，引人入勝地介紹了數(shù)理邏輯學(xué)、可計算理論、人工智能學(xué)、語言學(xué)、遺傳學(xué)、音樂、繪畫的理論等方面，構(gòu)思精巧、含義深刻、視野廣闊、富于哲學(xué)韻味。

數(shù)理邏輯學(xué)、可計算理論、人工智能學(xué)、語言學(xué)，這些對你后面要學(xué)的東西是有幫助的。

推薦這本書的另外一個原因是，《復(fù)雜性》這本書引用了它的內(nèi)容。

除了《大數(shù)據(jù)時代》，推薦以上這些書還有一個共同的原因，那就是這些書的作者可以說都是預(yù)測的高手(佛祖的功力你剛才已經(jīng)領(lǐng)教了)，讓人實在佩服得五體投地。

《失控》寫于20年前，據(jù)說是史上唯一一本歷經(jīng)20年越來越好賣的書，原因就是人們發(fā)現(xiàn)20年前書中說的事，這些年來正在一件件地被實現(xiàn)，人們都在奇怪，KK他是怎么知道的。

《復(fù)雜性》也寫于近20年前。

《哥德爾、艾舍爾、巴赫》寫于30年前。

《量子物理史話》雖然是2008年寫的，但是量子理論誕生一百多年了。

《華嚴經(jīng)》誕生于兩千多年前。

然而它們竟然對今天的大數(shù)據(jù)有如此的指導(dǎo)意義，我還能說什么?

《復(fù)雜性》的作者尼古拉斯·雷舍爾還有一本書(還有?!)，別急，這本書你一定會很想看，因為書名干脆就叫《預(yù)測未來》。可惜，這本書沒有中文版，英語好的同學(xué)可以去國外找來看看，如果你能幫我也弄一本，俺將不勝感激!

現(xiàn)在你已轉(zhuǎn)變了世界觀，具備了成為一個大數(shù)據(jù)高手的思想，可以開始學(xué)習具體方法了，即學(xué)習人工智能。

你一定在想，是不是又要讀一大堆書?理論上說：是的，需要學(xué)習人工智能基礎(chǔ)、自然語言處理、機器學(xué)習、統(tǒng)計學(xué)人工智能等等。不過，看你們被虐了這么久，我也動了惻隱之心，將給你們指一條捷徑，就學(xué)習一本書(高興吧?)。

?

統(tǒng)計自然語言處理基礎(chǔ)

作者：[美]Christopher D. Manning [德]hinrich Schutze

翻譯：苑春法 李慶中 王昀 李偉 曹德芳等

電子工業(yè)出版社

你可能有一個疑問，為什么是“語言”，這有兩個原因：

第一，在計算機專業(yè)，數(shù)據(jù)并不僅僅是指數(shù)字，文字、圖片、聲音、視頻等都叫數(shù)據(jù);

第二，語言比數(shù)字難很多，如果你能處理語言，那處理純數(shù)字就容易很多。(可參看我的另一篇文章，“什么是真正的大數(shù)據(jù)”，https://www.36dsj.com/archives/7828)

你可能還有一個疑問，統(tǒng)計自然語言處理與一般的自然語言處理有什么本質(zhì)不同之處?

給你講一個有趣的事，我的一個侄兒，4歲左右，一次去機場第一次看見自動人行道，就是類似商場那種自動扶梯，只不過是放平的，人站在上面就自動往前走，他脫口就說出“平電梯”。很形象，是不是?他之所以能造出這個詞，就是因為人有智能。

這里就引出一個小問題，他為什么會把“平”字放在“電梯”的前面?如果用人工智能的一般自然語言處理來解決這個問題，就會從詞性、語法、句法等方面著手，中學(xué)的時候你一定學(xué)過什么偏正結(jié)構(gòu)、主謂結(jié)構(gòu)、動賓結(jié)構(gòu)等等吧?對，經(jīng)過這一翻分析和處理，找出原因并推導(dǎo)出結(jié)果，可能就會知道“平”字應(yīng)該放在前面;

然而統(tǒng)計自然語言處理的路數(shù)不同，經(jīng)過統(tǒng)計，“平”字大多數(shù)時候都是放在前面，比如平均、平等、平臺、平的、平時、平坦、平常、平衡、平移、平板電腦……，好吧，那就把“平”字放在前面吧。嗯，就這么簡單。

當然，這里只是打個比方，實際不會是這么簡單。

但是，這又引出一個問題，我們仔細想想，那個4歲的小孩是怎么處理的，難道他懂什么語法、句法、編正結(jié)構(gòu)嗎?肯定不是，所以他一定是用的歸納統(tǒng)計的方法，無數(shù)次聽到大人說到類似詞時都是把平放在前面，所以他就放在前面了，他才不知道是什么原因呢，和接那個棒球是一個道理，他的大腦里并沒有那個物理公式。

因此，統(tǒng)計自然語言處理是更接近自然的自然語言處理方式(繞口令?)，也就是說更接近我們?nèi)说奶幚矸绞剑�甚至可以說就是人或自然的處理方式，只是人的大腦處理方式更復(fù)雜而已，但本質(zhì)是一樣的。

關(guān)于這一點，也有不同看法，我把不同觀點也呈現(xiàn)給你，你可以自己去思考和判斷。著名語言學(xué)家喬姆斯基就認為“兒童被假定為天生具有適用于所有人類語言的基本語法結(jié)構(gòu)的知識，這種與生俱來的知識通常被稱作普遍語法理論�！�(摘自百度百科)

?

自然，我本人是很難茍同這種觀點。這一觀點也遭到相當一部份語言學(xué)家的反對，“認為在尚未對所有人類語言進行研究之前就假設(shè)所有人類語言有共同的‘底層語法’，這樣做太冒進;而且在應(yīng)用普遍語法研究未知語言時，不得不假設(shè)許多‘空白詞類’，在研究基本語法為‘謂主賓’的語言(如愛爾蘭蓋爾語)時，更不得不假設(shè)這些語言的‘底層基本結(jié)構(gòu)’為主謂賓，這種做法本身可能已經(jīng)違反了描述性原則。也有語言學(xué)家(如Michael Evans和Stephan Levinson)主張，普遍語法是基於種族中心主義而得出的假設(shè)，而這會對認知科學(xué)造成很不良的影響。”(摘自百度百科)

讀完了這本書，不代表你就成為大數(shù)據(jù)高手了，實際上它只是為你打下基礎(chǔ)知識，真正掌握大數(shù)據(jù)的方法，需要你在這個基礎(chǔ)上去探索或者說悟出來。

至此為止，師父領(lǐng)進門、修行在個人，GOOD LUCK!

我寫這篇文章其實有兩個原因，一個就是為想成為大數(shù)據(jù)高手的人指一條路;

另一個原因，就是想做一個反擊，對反對大數(shù)據(jù)、懷疑大數(shù)據(jù)、用小數(shù)據(jù)當大數(shù)據(jù)忽悠的人進行反擊。注意，我這里絕對沒有反對小數(shù)據(jù)的意思，大數(shù)據(jù)并不是萬能的，傳統(tǒng)數(shù)據(jù)分析方式、抽樣數(shù)據(jù)分析仍然是非常有用的，或至少在相當長的時間里是如此，我只是反對現(xiàn)在很多人把傳統(tǒng)數(shù)據(jù)分析方式當作大數(shù)據(jù)方式來忽悠大眾。如果把這反擊濃縮成一句話，那就是：

這個世界的本質(zhì)是統(tǒng)!計!的!?