對(duì)已有數(shù)據(jù)分析的見(jiàn)解
至頂網(wǎng) 發(fā)表于:13年03月14日 10:00 [轉(zhuǎn)載] DOIT.com.cn
Gurjeet Singht是Ayasdi的聯(lián)合創(chuàng)始人兼CEO。在Gigaom上帶來(lái)了關(guān)于當(dāng)下大數(shù)據(jù)技術(shù)的看法,Singht認(rèn)為:從查詢(xún)開(kāi)始分析數(shù)據(jù)本身就是一個(gè)死胡同,并指出了當(dāng)下的大數(shù)據(jù)只完成了萬(wàn)里長(zhǎng)征的第一步。
以下為譯文:
許多人都會(huì)被震驚,如果他們知道研究人員只是從收集到數(shù)據(jù)中1%的數(shù)據(jù)進(jìn)行分析和提取見(jiàn)解。而就是這1%被分析的數(shù)據(jù)支配了革新和見(jiàn)解,現(xiàn)在我們稱(chēng)之為“大數(shù)據(jù)”。而在每天收集的1 quintillion(百萬(wàn)3次方)字節(jié)的數(shù)據(jù)中,有99%的數(shù)據(jù)完全未被利用。
我們都知道使用大數(shù)據(jù)非常的有前途,然而基于當(dāng)下的許多因素,數(shù)據(jù)的有效利用仍然是個(gè)瓶頸。藥物研發(fā)過(guò)程中,數(shù)據(jù)的使用多于化學(xué)過(guò)程;新能源的探測(cè)中,數(shù)據(jù)的使用超過(guò)地質(zhì)學(xué);恐怖分子的追蹤、預(yù)防欺騙中同樣如此。
現(xiàn)在我們已經(jīng)認(rèn)識(shí)到的上述的這些問(wèn)題和其它一些全局性問(wèn)題,都是數(shù)據(jù)使用的瓶頸所造成的。這種情況催生了大數(shù)據(jù)上的海量投資,而數(shù)據(jù)工作同樣成為了最熱門(mén)的崗位 —— 數(shù)據(jù)科學(xué)家,更把私人數(shù)據(jù)分析服務(wù)提供商的估值推到數(shù)十億美元。然而,你能想象到將分析的數(shù)據(jù)從1%提升到100%的前景嗎。
對(duì)已有數(shù)據(jù)分析的見(jiàn)解
如果你擁有一個(gè)和人類(lèi)基因一樣龐大的數(shù)據(jù)集,你該如何開(kāi)始?比如,奧巴馬最近提倡對(duì)人類(lèi)大腦進(jìn)行繪制?為了突破,我們需要解決這個(gè)世界上最復(fù)雜的問(wèn)題,我們需要根本上改變從數(shù)據(jù)中獲取知識(shí)的途徑。這里我們必須首先思考的是:
從查詢(xún)開(kāi)始必然是一個(gè)死胡同:查詢(xún)本身并沒(méi)有問(wèn)題。事實(shí)上一旦你知道問(wèn)什么問(wèn)題,查詢(xún)是至關(guān)重要的。同樣這也是關(guān)鍵所在:從查詢(xún)開(kāi)始的初衷是從大量的數(shù)據(jù)中發(fā)現(xiàn)一個(gè)指針,然而他們并未做到。
數(shù)據(jù)是有開(kāi)銷(xiāo)的:大部分情況下,數(shù)據(jù)的儲(chǔ)存已經(jīng)不再昂貴。而且通過(guò)使用類(lèi)似Hadoop或Redshift的工具,即使查詢(xún)大量的數(shù)據(jù)都變得非常劃算。當(dāng)然,這只是從硬件的角度上講。
見(jiàn)解就是金錢(qián):我們?cè)敢獬袚?dān)花銷(xiāo)唯一理由就是數(shù)據(jù)中的見(jiàn)解可以釋放價(jià)值。遺憾的是,我們失去了已收集數(shù)據(jù)中大部分的價(jià)值。雖然收集數(shù)據(jù)的成本可能會(huì)很高,但是無(wú)效分析帶來(lái)的成本顯然更高。當(dāng)下并不存在什么工具可以直接從數(shù)據(jù)中提取見(jiàn)解,我們依賴(lài)著非常聰明的人去提出假設(shè),然后使用我們的工具去證實(shí) (或者是否定)這些臆測(cè)。因?yàn)橐蕾?lài)的是臆測(cè),這個(gè)途徑存在著天生的缺陷。
你已經(jīng)擁有了足夠多的數(shù)據(jù):這里經(jīng)常存在的信念就是 —— “如果我們擁有了足夠多的數(shù)據(jù),我們肯定會(huì)得到我們想要的。”太多的時(shí)間和精力被浪費(fèi)在新的數(shù)據(jù)收集上,其實(shí)你可以用你手中的數(shù)據(jù)做更多的事情。舉個(gè)例子,Ayasdi最近在Nature Scientific Reports公布的從12歲乳腺癌患者身上獲得的新見(jiàn)解,就已經(jīng)被深入分析了10多年之久。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶(hù)寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.