盧億雷:大家上午好,非常的容幸在七牛做分享,我的題目主要是講大數(shù)據(jù)營銷帶來技術(shù)的一些洞察力的分析。
首先我們看一下大數(shù)據(jù)技術(shù)到底有多少的高深,前面的都是大咖,我就不多介紹了,對于大數(shù)據(jù)來說,我的想法把大數(shù)據(jù)做出來的時候,其實(shí)我覺得這才是第一步,很小的一步,最重要的是怎么樣運(yùn)營好,所以這里有7個運(yùn)營的特性。BAT公司,他們的產(chǎn)品做出來的話,最最關(guān)鍵的不是產(chǎn)品做的多么多么的好,而是保證24小時服務(wù)不停。所以有高可靠性,高可用性和高擴(kuò)展性是大數(shù)據(jù)提供的一個方式。
高安全和易監(jiān)控維護(hù)為什么會重點(diǎn)的提出來呢,對于安全來說,因?yàn)榇髷?shù)據(jù)的話,人在大數(shù)據(jù)前面就沒有隱私可言了,所以對于大公司來說,安全也是非常的重要的。象一些物理的隔離,最后一點(diǎn)是硬件維護(hù),我們最最關(guān)心的是怎么樣在第一時間里發(fā)現(xiàn)問題,并解決問題,這個是最最重視的部分,所以AdMaster公司除了做系統(tǒng)監(jiān)控,還做應(yīng)用的監(jiān)控。保證了我們的數(shù)據(jù)可靠性。接下來我們看一下整個數(shù)據(jù)平臺的架構(gòu)。也是比較通用的,這里我只是說了二個點(diǎn)。一個是做搜索的分布式系統(tǒng),這個大家可以搜索一下,我只說幾個最關(guān)鍵的點(diǎn)。
關(guān)于Flink,叫增量迭代,買一次計算,把數(shù)據(jù)內(nèi)存拿過來做計算,可以保證把中間數(shù)據(jù)迭代的結(jié)果保存在內(nèi)存里面,這樣子的性能可以更高一些。這個技術(shù)我們看下來,數(shù)據(jù)營銷的分類有一些什么特點(diǎn),上午劉老師會詳細(xì)的介紹。我這里簡單的介紹一下,第一點(diǎn),數(shù)據(jù)營銷分了二大類,一類是叫全流程營銷。比如是做一個活動的頁面,你可以做一些推廣,整個的廣告會流起來了。
第二個是實(shí)時競價營銷,就是我們做的交易系統(tǒng),AD,DSH,SSP和DMP,這個我就不詳細(xì)的展開了。這個是流程圖,我們AdMaster公司,做所有的數(shù)據(jù)投放的,我們是做DMP是做一個數(shù)據(jù)管理的平臺,不光是把廣告交易的數(shù)據(jù),包括一些搜索的數(shù)據(jù),包括微信微博,還有新聞,還有一些門店的數(shù)據(jù),把整個做一個大融合給廣告主提供服務(wù)的。
這里的一個非常的基本的投放的原則,我們做廣告營銷或者是數(shù)字營銷,無非是你怎么樣在合適的時間,在合適的地點(diǎn),把適合的商品推給最適合的人,所以廣告都是非常的精準(zhǔn)。這里有一個最最重要的就是時間,因?yàn)榇蠹抑?,特別是政府的數(shù)據(jù),要把我們所有的信息公開,但是不知道時間,比如是今天上午,我們做一些什么,這個時間的話,分了行業(yè)的。
接下來我們看一下核心的技術(shù),這個是我把它總結(jié)了一下,整個大數(shù)據(jù)平臺的傳統(tǒng)的架構(gòu),因?yàn)榇髷?shù)據(jù)里面,你怎么樣把這個數(shù)據(jù)存儲做分析,最基本的是怎么樣把硬件更好的結(jié)合起來,大家知道現(xiàn)在的硬件是越來越便宜了,那怎么樣把最好的硬件用到最適合的系統(tǒng)里面,第一個是是普通的硬盤, 發(fā)現(xiàn)如果是你想提高性能的話,調(diào)很多的參數(shù)的話,可以解決90%多的問題,也可以節(jié)省時間。
還有一塊如果是你對時效性的要求很高的話,百度他們的機(jī)器可以達(dá)到秒級甚至是毫秒級。Redis這個就不用多解釋了,我們看一下數(shù)字營銷的核心的算法,有SVM,聚類,分類,這一點(diǎn)的話,其實(shí)做一點(diǎn)算法的同學(xué),他們很多都是原來的模型來做的,舉一個例子來說的話,一個人他的屬性是在變化的。我們聽了分享之后,你回到了家里,可能會轉(zhuǎn)變角色,可能你是爸爸媽媽,或者是兄弟姐妹,你在投放廣告的時候,一定是要根據(jù)不同的時間來做變化,這樣子可以達(dá)到很好的效果。
然后第一大類就是離線數(shù)據(jù)分析,第二個是在線數(shù)據(jù)分析,我們先看一下離線數(shù)據(jù)分析,最特別的地方,用戶自己的需求,一定是要轉(zhuǎn)換到最后的計算,做一個切分。用戶的需求提出來的時候,你肯定不能馬上的解決,Rabbitmq,然后還有Redis,還有FIesever,你把結(jié)果計算完了以后,很多的用戶,或者是客戶,他們以前的是老系統(tǒng),沒有新系統(tǒng),你拿大眾的系統(tǒng),才能滿足他們的需求。
第二個是計算模型,我們用的很多,包括Pig,streaming,cascading,你要滿足用戶的需求,所有的模型都是不一樣的接下來是我們通過平臺,,每天新增5TB級的數(shù)據(jù),每天對千億條數(shù)據(jù)進(jìn)行幾千種維度的計算。我們會對上千億條的數(shù)據(jù)進(jìn)行計算,這一點(diǎn)的話,大家也可以看到,我們對一天五千到一萬的維度進(jìn)行計算。除了硬件,你怎么樣可以解決問題,這一點(diǎn)和百度,阿里做了很多的溝通和交流,很有挑戰(zhàn)性的,五簽到一萬例的話,你加的條件可能是隨意的條件,有很多可以做的地方。
在線數(shù)據(jù)分析,這個是非常經(jīng)典的模型,因?yàn)槲覀兠刻齑蟾攀怯谐^一百億的請求接受,包括了新聞,BBS,各種各類的數(shù)據(jù),然后就是一個調(diào)節(jié)器的系統(tǒng)??梢园褦?shù)據(jù)源通過統(tǒng)計的平臺進(jìn)來,把數(shù)據(jù)進(jìn)行一個處理。
接下來是一個Stom,我們這里用的一個最最關(guān)鍵的地方,一個是時效性,第二個是有一個時間序列的概念,我們認(rèn)為必須是嚴(yán)格意義上的時間序列,原來是12345,計算的結(jié)果也應(yīng)該是12345。通過一些算法模型,這地方我想說一下,在我們這里,我們不叫知識庫,叫做社交圖庫,這個人一定是和社交有關(guān)系的,傳統(tǒng)的數(shù)據(jù)庫很難把數(shù)據(jù)表現(xiàn)出來,我們最近在做這一方面的研究,我們應(yīng)該很快就可以上線了,還是不錯的一個公司。
另外的話,大家知道,對于情感分析,一般就是正面負(fù)面,但是對于一句話來說,可以解釋不同的類型,比如說A說B是好的,對于B肯定是正面的,對于A來說,可能是真心的,也可能是負(fù)面的。接下來我們會把一些數(shù)據(jù)的結(jié)果放到里面,象微博,微信。我們會處理各種不同的報表,對于數(shù)字營銷最最痛點(diǎn)的分析,對于隱私來說,大家都是非常的關(guān)心的。所以這里我們提到的解決方案,既然是A公司和B公司,大家都不愿意把數(shù)據(jù)源貢獻(xiàn)給對方,就是找一個可信的服務(wù)廠商做這個事。把數(shù)字加密,保證數(shù)據(jù)不會流失?;蛘呤遣粫蝗烁`取。
我們看一些非常經(jīng)典的實(shí)例,如果是A公司和B公司的IT不在一起也是很難做的,所以可以通過共有云的解決方案,自然是可以解決剛才的問題,所以我們找到了一個可信的云服務(wù)商,包括阿里,包括七牛,都是很好的合作伙伴,將來的話,就可以在七牛的服務(wù)器上做計算,計算完了以后,把報告倒出給客戶最后把所有的數(shù)據(jù)都銷毀。這樣子了話,就可以做一個非常非常彈性的計算模型,包括把數(shù)據(jù)做的安全可靠。
另外一點(diǎn),這個是我上半年做的一個研究,到底大數(shù)據(jù),或者是數(shù)據(jù)是一個怎么樣的意思,我這里說的數(shù)據(jù)流,對數(shù)據(jù)是不是越穩(wěn)定越好的,比如說我們每一個人都可以拿到用戶的身份號碼,包括銀行的卡號,是不是一個合適的方式呢,我說是No,第一點(diǎn),整個的數(shù)據(jù)是有生命周期的,數(shù)據(jù)必須是活的。只要是這個數(shù)據(jù)流動起來,它就沒有價值。
就好象是貨幣只有流通起來,才有價值,如果是不流動的話,是沒有任何的價值。這是第一點(diǎn)。第二點(diǎn)一定是有壽命的。這個我說是整個行業(yè)的發(fā)展,比如說我們和某一個公司做了一個交易,把公司的安裝ID買過來了以后,如果是IE一直沒有變化的話,他們二個以后再也不會做交易了,因?yàn)閿?shù)據(jù)我都已經(jīng)有了,以后再也不會合作了,這樣子會導(dǎo)致整個生態(tài)圈這是一條線。所以我們這里提了一點(diǎn),第一點(diǎn)就是這個數(shù)據(jù)必須是有生命周期。大家都希望雙方公司的合作是一直合作下去的,而不是我買了數(shù)據(jù)以后,下次就不用合作了。對于移動端的設(shè)備,包括現(xiàn)在的蘋果的APP,里面的ADFA是蘋果做的一個官方的SID,基本上會在三個月左右做一次更新,這樣子可以保證整個的數(shù)據(jù)不停的被更新,而不是一成不變的。保證了數(shù)據(jù)源可以持續(xù)的合作。
接下來我給大家分享幾個案例,這幾個案例我認(rèn)為還是非常的經(jīng)典的。第一個是象AdMaster主要是做的DA系統(tǒng),這是一個廣告的交易平臺,里面最最關(guān)鍵的地方,不光是把交易里面的數(shù)據(jù)做出分析,還有它怎么樣把搜索的數(shù)據(jù)加入進(jìn)來,這時候最大的特點(diǎn)是什么呢?因?yàn)槊恳粋€人,每一個用戶買了東西以后,現(xiàn)在的微博微信發(fā)展的很快,買完了以后,一定會去朋友圈,微博,論壇會抱怨一下這個產(chǎn)品到底是好還是壞,對于廣告主來說的話,他的品牌出現(xiàn)了任何的品牌,都可以實(shí)時第一手拿到材料。
最后我給大家舉一個非常的有意思的例子,這個例子很火,我想問大家一個問題,大家都不喜歡看廣告,特別是看電視和視頻的時候,但是我想問一下大家,大家對于微信的朋友圈的廣告,它是通過數(shù)據(jù)流通,你看到最近投的寶馬,還有Mini的廣告,大家認(rèn)為喜歡這個廣告的有多少,50%,40%?還有沒有?我們有72%是喜歡這個微信廣告的。為什么會喜歡微信朋友圈的廣告,不僅僅是把廣告推給你,最重要的是互動。每次出了廣告以后,你們都會點(diǎn)一個贊,不光是廣告主在打廣告,其實(shí)用戶也是在參與的過程中,這樣子的話,不是很反感這個廣告。
第二點(diǎn),因?yàn)槲⑿诺陌l(fā)展很快,他們都說這次寶馬推了廣告給我,我本來是一個屌絲,推給了我,我感覺自己成了高富帥了,對于廣告營銷來說,不僅僅是一個數(shù)據(jù)分析,如果是把社會心理學(xué)加進(jìn)去以后,可以把廣告做的更好,比如我明明是一個屌絲,但是推給了我寶馬的廣告,這個廣告可以達(dá)到很多次的口口相傳,這個也是一個很重要的原因。
做廣告的時候,首先是要做預(yù)測,不管是傳統(tǒng)的視頻,或者是電視,或者是大屏幕,電線桿之類的。首先是要做預(yù)算,預(yù)算完了以后做評估,然后會再做分析,怎么樣做跨屏的廣告的投放,這里是非常重要的,因?yàn)槲覀冊诳戳藦V告以后,對于廣告主來說,希望的是怎么樣的把廣告投放給更多的人看,所以怎么樣做跨屏的分析。
接下來作弊識別模型,其實(shí)我和大家說一下,廣告作弊的還是挺多的,包括地域,包括IT,包括頁面,包括用戶的一些分析,有很多的的手段來判斷它是不是作弊的。所以我們在接下來12月份,會有一個防作弊大賽,告訴用戶怎么樣的是作弊的,所以的人都可以來參加這個作弊的模型。
這個是全流量的分析,你看過的一個廣告過來以后,最后到了官網(wǎng),到了它的首頁,到產(chǎn)品的頁面,到注冊的頁面,最后到成功的購買。這個有一點(diǎn)類似百度統(tǒng)計看到的信息,這里面還是有很多點(diǎn)的。第一點(diǎn)是怎么樣把你的活動的效果,包括流量的分析。
這個是移動端的消費(fèi)分析,移動端的發(fā)展很快,每一個人通過最后的一跳把APP下載,其實(shí)有可能最后安裝這一跳的不是你花錢最多的地方,有可能是用戶看了A廣告以后,然后才通過APP搜索,作為廣告主來說,不希望把這個錢直接花在安裝上,他是希望在廣告效果最好的地方出現(xiàn)。所以我們會分析ABC媒體,怎么樣做轉(zhuǎn)換的分析,發(fā)現(xiàn)A的效果是最好的。
最一個案例是在2013年的時候,可口可樂的昵稱瓶的案例,可口可樂公司當(dāng)時做的時候,怎么樣可以提高它的銷售,通過我們的搜索分析,就發(fā)現(xiàn)了包括用戶,特別是80后,90后,對白富美,高富帥這種詞是非常的有興趣了,那是不是可以生產(chǎn)一些有昵稱的瓶子作為銷售,最后發(fā)現(xiàn)通過這種方式,銷售額提高了10%以上,大家知道快銷行業(yè),可以提出5%個趨勢,10%是一個很大的數(shù)字了。大家覺得不是說一次性的把這個詞給可口可樂公司去生產(chǎn),而是是一個迭代式的方式。第一次我們看到的是白富美,高富帥,第二次的時候,可以多一些其他的。這樣子可以節(jié)省成本。通過一些生量,互動性,發(fā)貼率,做了很多的分析。
因?yàn)闀r間的關(guān)系,我就分析到這里,謝謝大家。