云(yun)計算時代 大數據與云(yun)計算和(he)物(wu)聯網之間的關系(xi)
大數(shu)據時代的(de)到(dao)來,是全球知名咨(zi)詢公(gong)司麥肯錫最早提出的(de),麥肯錫稱(cheng):“數(shu)據,已經滲透到(dao)當(dang)今每一個行業和業務職能(neng)領(ling)域,成為重要的(de)生產(chan)因素(su)。人(ren)們對于海量數(shu)據的(de)挖掘和運用,預(yu)示著新一波生產(chan)率增長和消費者盈余浪潮的(de)到(dao)來。”
《互聯(lian)網進化論》一書中提出“互聯(lian)網的未來功(gong)能和(he)結(jie)構(gou)(gou)將于(yu)人類大腦(nao)高度相似,也將具備互聯(lian)網虛(xu)擬感(gan)覺(jue),虛(xu)擬運動,虛(xu)擬中樞,虛(xu)擬記(ji)憶神經系統”,并(bing)繪(hui)制了(le)一幅互聯(lian)網虛(xu)擬大腦(nao)結(jie)構(gou)(gou)圖(tu)。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數(shu)據,云(yun)計算(suan),物(wu)聯(lian)網(wang)和移動互聯(lian)網(wang)與(yu)傳統互聯(lian)網(wang)之(zhi)間的關系。
從這幅(fu)圖中我們可以看出(chu):
物聯網對應(ying)了互聯網的感覺(jue)和運動神經系(xi)統(tong)。
云(yun)計(ji)算是(shi)互(hu)聯(lian)網的(de)核心硬件層和核心軟件層的(de)集合,也是(shi)互(hu)聯(lian)網中(zhong)樞神經(jing)系統萌芽。
大數據代表了互聯網的信息層(數據海洋(yang)),是互聯網智慧和(he)意識產生的(de)基礎。
包括(kuo)物聯網(wang),傳統互聯網(wang),移(yi)動互聯網(wang)在源源不(bu)斷(duan)的向互聯網(wang)大數(shu)(shu)據層匯聚數(shu)(shu)據和接受數(shu)(shu)據。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左右。很多用戶把多個(ge)數(shu)據集放在一起,形(xing)成PB級的數(shu)據(ju)(ju)量。同時(shi)從數(shu)據(ju)(ju)源來談,大數(shu)據(ju)(ju)是指這些數(shu)據(ju)(ju)來自(zi)多種數(shu)據(ju)(ju)源,以實時(shi)、迭代(dai)的方式來實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他通過大(da)(da)家日常網(wang)絡留(liu)下(xia)痕跡和腳(jiao)印獲(huo)取大(da)(da)量的數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個數據,IMT1。4TB數據(ju)等各種的(de)數據(ju)通過(guo)傳感(gan)器(qi)產(chan)(chan)生(sheng),也有在(zai)網(wang)上直接(jie)產(chan)(chan)生(sheng)的(de),我們現在(zai)處于(yu)大數據(ju)時代,物聯網(wang)一分鐘可以產(chan)(chan)生(sheng)非常多的(de)東西(xi),蘋果下載(zai)2萬余(yu)次,一(yi)分鐘會上(shang)傳(chuan)10萬條新微博,全世(shi)界物(wu)聯網(wang)(wang)上虛(xu)擬網(wang)(wang)絡上,產生了大量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新(xin)浪(lang)微博(bo)晚上(shang)有100萬以上的(de)響應請(qing)求,中國聯(lian)通也進行大數據(ju)搜(sou)集(ji),他們(men)以前給用(yong)戶(hu)(hu)每一個月發一個帳單,很多用(yong)戶(hu)(hu)認為我沒有上這么(me)多,中國聯(lian)通改(gai)制(zhi)就詳細記(ji)錄客戶(hu)(hu)的(de)上網記(ji)錄一秒鐘83萬(wan)條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發(fa)動機引擎收(shou)據588,企業(ye)資(zi)源管(guan)理(li)客戶關系管(guan)理(li)等現在是大數據(ju),企業(ye)本身也是每時每刻產生大量數據(ju)。
2012年(nian)IDC公司指出在2005年由機器產(chan)生的數(shu)據占到(dao)數(shu)據總量的11%,2020增加到42%。比如說醫療(liao),現在到醫院看病都要CT,清(qing)晰度很(hen)高300多(duo)兆,一個(ge)病(bing)人CT影響往(wang)往(wang)多大兩千幅,數據量已經到(dao)了幾十個GB,如(ru)今(jin)中國大(da)城市的(de)(de)醫(yi)院(yuan)每天門診(zhen)上(shang)完人(ren),全國每年住院(yuan)已經達到了(le)兩億人(ren)次,按(an)照醫(yi)療行業的(de)(de)相(xiang)關規(gui)定,一(yi)個患者(zhe)的(de)(de)數據通(tong)常需要保(bao)留50年以上。
物聯網(wang)(wang)產生(sheng)的(de)大(da)數(shu)據(ju)與一(yi)般的(de)大(da)數(shu)據(ju)有(you)不同的(de)特(te)點(dian)。物聯網(wang)(wang)的(de)數(shu)據(ju)是異構(gou)的(de)、多樣性的(de)、非結(jie)構(gou)和(he)有(you)噪聲的(de),更大(da)的(de)不同是它(ta)的(de)高增長率。物聯網(wang)(wang)的(de)數(shu)據(ju)有(you)明(ming)顯的(de)顆粒性,其數(shu)據(ju)通常帶有(you)時間、位置(zhi)、環境和(he)行為等信息(xi)。物聯網(wang)(wang)數(shu)據(ju)可以說也是社交(jiao)數(shu)據(ju),但不是人與人的(de)交(jiao)往信息(xi),而是物與物,物與人的(de)社會合作信息(xi)。
物聯網的(de)(de)(de)混搭將使(shi)物聯網的(de)(de)(de)數(shu)據(ju)變(bian)得(de)更(geng)有用(yong),將物聯網感知的(de)(de)(de)數(shu)據(ju)與(yu)通(tong)過社(she)會媒(mei)體獲得(de)的(de)(de)(de)數(shu)據(ju)結合,也(ye)就是人跟(gen)機(ji)器的(de)(de)(de)社(she)會聯網,將使(shi)決(jue)策更(geng)科學。
與隱(yin)私與法律(lv)有(you)關的特殊性(xing),誰是物聯網數據的擁有(you)者(zhe),通過(guo)物聯網可以控(kong)制家用電器。
最后(hou),大數據(ju)助力物(wu)(wu)聯(lian)網(wang),不(bu)(bu)僅僅是(shi)(shi)收集(ji)傳感性的數據(ju),實物(wu)(wu)跟虛擬物(wu)(wu)要結合起(qi)來(lai)。今天(tian)北(bei)京交通堵塞(sai),但是(shi)(shi)并(bing)不(bu)(bu)知道堵塞(sai)原(yuan)因,如(ru)果政府發布(bu)消息(xi)和市民微(wei)博發布(bu)消息(xi)結合起(qi)來(lai)就知道發生什么事,物(wu)(wu)聯(lian)網(wang)要過濾,過濾要有一定(ding)模(mo)式(shi)。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總(zong)有一天會說準。
物聯網數(shu)(shu)據挖掘涉(she)及到數(shu)(shu)據存(cun)儲,從實(shi)物虛擬物獲取存(cun)儲,然后(hou)進(jin)行(xing)一些虛擬化和找出數(shu)(shu)據摘(zhai)要,是要加標簽(qian)的(de)。
數(shu)據挖掘模式,合并壓縮(suo)、清洗過濾、格式轉換,法階(jie)(jie)段數(shu)據分(fen)析、知(zhi)識發現、可視化、數(shu)據階(jie)(jie)段,關聯規則,分(fen)類、聚(ju)類、序列、路徑。因此后面(mian)工作更(geng)(geng)大更(geng)(geng)重(zhong)要而且更(geng)(geng)難。
最近大家關注PM2.5,另(ling)外云南西北邊、西川(chuan)西南邊干旱容易發生火災,利用雷達(da)、飛機可以搜集數據(ju),也需要進行分析,然(ran)后產生判斷。
在水面(mian)取樣,通過衛(wei)星發出去(qu),利用云計算(suan)、中心數(shu)(shu)(shu)據(ju)(ju)挖(wa)掘(jue),河流的環境污(wu)染(ran),數(shu)(shu)(shu)字化(hua)的模式,我們(men)可(ke)以發現(xian)有的地(di)方(fang)有環境污(wu)染(ran),所污(wu)染(ran)本身需(xu)要異源數(shu)(shu)(shu)據(ju)(ju),除了傳感(gan)器、物聯網數(shu)(shu)(shu)據(ju)(ju)有噪聲的不干凈的,所以需(xu)要多種(zhong)數(shu)(shu)(shu)據(ju)(ju)的結合,歷史數(shu)(shu)(shu)據(ju)(ju)的挖(wa)掘(jue),然后(hou)進(jin)行(xing)分析預(yu)感(gan)、預(yu)警,所以數(shu)(shu)(shu)據(ju)(ju)后(hou)面(mian)的處(chu)理,食品(pin)(pin)現(xian)在也是大家所關注的,手機拍下來食品(pin)(pin)到后(hou)臺去(qu)查(cha),是哪(na)個公司的食品(pin)(pin),在什么(me)地(di)方(fang)生產(chan),食品(pin)(pin)生產(chan)日期等(deng)等(deng),包括食品(pin)(pin)安全(quan)不安全(quan),營養成分怎么(me)樣,食品(pin)(pin)監(jian)控(kong),運用后(hou)臺數(shu)(shu)(shu)據(ju)(ju)等(deng)等(deng)。最(zui)近禽流感(gan)流行(xing),怎么(me)去(qu)監(jian)測,凡是產(chan)生流感(gan)病人在網上(shang)尋找,吃什么(me)藥好,哪(na)個地(di)方(fang)看病好,或者微博交流。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘(zhong),這樣看(kan)上去每時每刻只有能夠(gou)監控很小一部分內容,通過(guo)軟(ruan)件(jian)(jian)把整條路上變(bian)成(cheng)一個視頻,再進一步我把所有馬路都(dou)(dou)通過(guo)大數(shu)據軟(ruan)件(jian)(jian)后臺(tai)分析(xi)組成(cheng)圖象,這圖象像上海(hai)市領導人坐飛機俯視地面一樣。所以這些(xie)都(dou)(dou)是后臺(tai)數(shu)據分析(xi)。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條刷卡記(ji)錄,地鐵(tie)每天1千萬人次,分析這些數(shu)據(ju)可改善(shan)城市交(jiao)通狀況(kuang)。新加坡的(de)公共交(jiao)通部(bu)門十年來已(yi)經使用(yong)個人位(wei)置數(shu)據(ju)做交(jiao)通需求的(de)預測。荷(he)蘭的(de)交(jiao)通部(bu)門利用(yong)移(yi)動(dong)電話的(de)定(ding)位(wei)功能預測汽車和行人的(de)擁堵狀況(kuang)。
最后講M2M的總量,全(quan)世界的M2M到2011年將有20億,2020年180億,預測2020年(nian)有(you)500億連接,主要是在消費電子和智(zhi)能建筑(zhu)兩個領(ling)域,將占70%。
2011年(nian)M2M全市(shi)場為2000億美元,2022年12000億美元,三(san)分(fen)之二收入來(lai)(lai)自設備與安裝,三(san)分(fen)之一(yi)來(lai)(lai)自服(fu)務,2020年最大的M2M市場(chang)在(zai)中(zhong)國和(he)美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網將成為(wei)下一個萬億元級別(bie)的信息(xi)產業業務。
2014年10月(yue)22-23日(ri),第二屆國(guo)際物聯網暨傳感技術與應用高峰論壇在杭州召開(kai),參加論壇的100多位(wei)專家學者和1000多位企業(ye)代表、行業(ye)精英,將一起共話物聯網(wang)聯手大數據帶來的前景。組(zu)委會為了適應國際合作(zuo)的需求(qiu),還配備了專(zhuan)業的同聲傳譯(yi),保證交(jiao)流(liu)無阻。