云計(ji)算(suan)時(shi)代 大數據與(yu)云計(ji)算(suan)和物聯(lian)網之間(jian)的關系
大數(shu)據時代的到來,是全球知名咨詢公(gong)司麥(mai)肯錫(xi)最(zui)早提出(chu)的,麥(mai)肯錫(xi)稱(cheng):“數(shu)據,已經滲透到當今每(mei)一(yi)個行業(ye)(ye)和業(ye)(ye)務職能領域,成為重要(yao)的生(sheng)產因素。人們對于海量數(shu)據的挖掘和運用,預示著新一(yi)波(bo)生(sheng)產率增長和消(xiao)費(fei)者盈余浪潮的到來。”
《互聯(lian)網進化論》一書中提(ti)出(chu)“互聯(lian)網的未來功能和結構(gou)將于人類(lei)大(da)腦高度相似,也將具備互聯(lian)網虛(xu)(xu)擬(ni)感覺,虛(xu)(xu)擬(ni)運動,虛(xu)(xu)擬(ni)中樞,虛(xu)(xu)擬(ni)記憶神經系統”,并繪制(zhi)了一幅互聯(lian)網虛(xu)(xu)擬(ni)大(da)腦結構(gou)圖(tu)。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據,云計算,物聯(lian)網(wang)和移動互(hu)聯(lian)網(wang)與傳統互(hu)聯(lian)網(wang)之(zhi)間的關系。
從這幅圖中我們(men)可(ke)以(yi)看(kan)出:
物聯(lian)網對應了(le)互聯(lian)網的感覺(jue)和(he)運動神經系統。
云(yun)計算是互(hu)聯網的(de)核(he)心硬件(jian)層和核(he)心軟件(jian)層的(de)集(ji)合(he),也是互(hu)聯網中(zhong)樞神經系(xi)統萌芽(ya)。
大數據代表了互聯網的信息層(數據(ju)海洋),是互聯網智(zhi)慧和(he)意識產生的(de)基礎。
包括物聯(lian)(lian)(lian)網,傳統互(hu)聯(lian)(lian)(lian)網,移動互(hu)聯(lian)(lian)(lian)網在源(yuan)源(yuan)不斷的向互(hu)聯(lian)(lian)(lian)網大數(shu)據(ju)層匯聚數(shu)據(ju)和接受數(shu)據(ju)。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左(zuo)右。很多用戶把多個數(shu)據(ju)集放在一(yi)起,形成PB級的數據(ju)(ju)(ju)(ju)量。同時從數據(ju)(ju)(ju)(ju)源(yuan)來談(tan),大數據(ju)(ju)(ju)(ju)是指這些數據(ju)(ju)(ju)(ju)來自(zi)多種數據(ju)(ju)(ju)(ju)源(yuan),以實時、迭代的方式來實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他(ta)通過大(da)家日(ri)常網絡(luo)留(liu)下痕跡和腳印獲取大(da)量的數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個(ge)數據,IMT1。4TB數(shu)據等各種的數(shu)據通過傳感器產(chan)生(sheng),也有在(zai)網上直接產(chan)生(sheng)的,我(wo)們現在(zai)處于(yu)大(da)數(shu)據時代,物聯網一分鐘可以產(chan)生(sheng)非(fei)常多的東西,蘋果下載(zai)2萬余次,一分鐘會上(shang)傳(chuan)10萬條(tiao)新(xin)微博,全世界物聯網(wang)上(shang)虛擬網(wang)絡(luo)上(shang),產生了大量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億(yi),新浪微(wei)博晚上有100萬以上(shang)的(de)響應(ying)請求,中(zhong)國(guo)聯通(tong)也進行大數據(ju)搜集,他們以前給用(yong)戶(hu)每(mei)一(yi)個月發一(yi)個帳單,很多用(yong)戶(hu)認為(wei)我沒有(you)上(shang)這么多,中(zhong)國(guo)聯通(tong)改制就詳細記(ji)錄客(ke)戶(hu)的(de)上(shang)網記(ji)錄一(yi)秒(miao)鐘83萬條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發動機引擎(qing)收據(ju)588,企業資源(yuan)管(guan)理客(ke)戶(hu)關系(xi)管(guan)理等現(xian)在是大數據,企業本身也(ye)是每時(shi)每刻產生大量(liang)數據。
2012年IDC公司指出在(zai)2005年由機(ji)器產(chan)生的(de)(de)數據占到數據總量的(de)(de)11%,2020增加到(dao)42%。比如說醫療,現在到醫院看病都(dou)要CT,清晰度很高300多(duo)兆,一(yi)個病人CT影響往往多大兩千幅,數據量已經到(dao)了幾十(shi)個(ge)GB,如今中國大城市的(de)醫(yi)院(yuan)每天門診上完人(ren),全國每年住院(yuan)已經(jing)達(da)到了(le)兩億人(ren)次,按照醫(yi)療(liao)行(xing)業的(de)相(xiang)關規定,一個患(huan)者的(de)數(shu)據通常需要保留50年以(yi)上(shang)。
物(wu)(wu)聯(lian)網產生的(de)(de)大(da)數據(ju)與(yu)一(yi)般(ban)的(de)(de)大(da)數據(ju)有(you)(you)(you)不同的(de)(de)特點。物(wu)(wu)聯(lian)網的(de)(de)數據(ju)是(shi)(shi)異構(gou)的(de)(de)、多樣性(xing)的(de)(de)、非(fei)結(jie)構(gou)和有(you)(you)(you)噪聲的(de)(de),更大(da)的(de)(de)不同是(shi)(shi)它(ta)的(de)(de)高增(zeng)長率(lv)。物(wu)(wu)聯(lian)網的(de)(de)數據(ju)有(you)(you)(you)明(ming)顯的(de)(de)顆粒性(xing),其數據(ju)通常(chang)帶有(you)(you)(you)時(shi)間(jian)、位置、環境和行為等(deng)信息。物(wu)(wu)聯(lian)網數據(ju)可以(yi)說也是(shi)(shi)社交數據(ju),但不是(shi)(shi)人(ren)與(yu)人(ren)的(de)(de)交往(wang)信息,而是(shi)(shi)物(wu)(wu)與(yu)物(wu)(wu),物(wu)(wu)與(yu)人(ren)的(de)(de)社會合作信息。
物聯(lian)網(wang)(wang)的(de)混搭將(jiang)使(shi)物聯(lian)網(wang)(wang)的(de)數(shu)據(ju)(ju)變得(de)更有用(yong),將(jiang)物聯(lian)網(wang)(wang)感知的(de)數(shu)據(ju)(ju)與通(tong)過社(she)會媒體獲得(de)的(de)數(shu)據(ju)(ju)結合,也就是(shi)人跟(gen)機器的(de)社(she)會聯(lian)網(wang)(wang),將(jiang)使(shi)決策更科學。
與隱私與法律有關的(de)特殊性,誰是(shi)物(wu)聯網數據的(de)擁有者,通過物(wu)聯網可以控(kong)制家用電器。
最后,大數據助力物(wu)(wu)聯(lian)網,不僅僅是(shi)收集傳(chuan)感性的(de)數據,實(shi)物(wu)(wu)跟(gen)虛擬物(wu)(wu)要(yao)結(jie)合起來。今天北京交通堵塞,但(dan)是(shi)并不知(zhi)道堵塞原因,如果政府發(fa)布消息和市民(min)微博發(fa)布消息結(jie)合起來就(jiu)知(zhi)道發(fa)生什(shen)么事,物(wu)(wu)聯(lian)網要(yao)過濾(lv),過濾(lv)要(yao)有一(yi)定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總有一天(tian)會說準。
物(wu)(wu)聯網數據(ju)(ju)挖掘涉及(ji)到數據(ju)(ju)存(cun)儲(chu),從實物(wu)(wu)虛擬物(wu)(wu)獲(huo)取(qu)存(cun)儲(chu),然后進(jin)行一些虛擬化和找出數據(ju)(ju)摘(zhai)要(yao)(yao),是要(yao)(yao)加(jia)標簽的。
數據挖掘模式,合并壓縮、清洗過濾、格式轉換,法(fa)階段數據分(fen)析(xi)、知識發現、可(ke)視(shi)化、數據階段,關聯(lian)規則(ze),分(fen)類(lei)、聚類(lei)、序(xu)列(lie)、路徑。因此后面工作更(geng)大更(geng)重(zhong)要而且更(geng)難(nan)。
最近大家關注PM2.5,另外云南西北邊(bian)、西川(chuan)西南邊(bian)干旱容易發生火災,利(li)用雷達、飛機可(ke)以搜集數(shu)據,也需要進行分(fen)析,然后產生判斷。
在水面(mian)取樣(yang)(yang),通過衛星發出去(qu),利用云計算、中心(xin)數據(ju)(ju)挖掘,河流的環境污染,數字化的模式,我們可以(yi)發現(xian)有(you)的地方(fang)有(you)環境污染,所(suo)(suo)污染本身需要異源數據(ju)(ju),除了(le)傳感器、物聯網(wang)數據(ju)(ju)有(you)噪聲的不干(gan)凈的,所(suo)(suo)以(yi)需要多種數據(ju)(ju)的結合,歷史數據(ju)(ju)的挖掘,然后進行分析預感、預警,所(suo)(suo)以(yi)數據(ju)(ju)后面(mian)的處理,食(shi)品(pin)現(xian)在也是(shi)(shi)大家所(suo)(suo)關注(zhu)的,手機拍(pai)下(xia)來食(shi)品(pin)到后臺(tai)去(qu)查(cha),是(shi)(shi)哪個公司的食(shi)品(pin),在什么(me)地方(fang)生產(chan),食(shi)品(pin)生產(chan)日(ri)期等等,包(bao)括食(shi)品(pin)安全不安全,營(ying)養(yang)成分怎(zen)么(me)樣(yang)(yang),食(shi)品(pin)監控,運用后臺(tai)數據(ju)(ju)等等。最近禽(qin)流感流行,怎(zen)么(me)去(qu)監測,凡是(shi)(shi)產(chan)生流感病(bing)人(ren)在網(wang)上尋找(zhao),吃什么(me)藥好,哪個地方(fang)看(kan)病(bing)好,或者微博交(jiao)流。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這樣看上去每時(shi)每刻只有(you)能夠監控很小一(yi)(yi)部分內容(rong),通(tong)過(guo)軟件把整條(tiao)路上變成一(yi)(yi)個視頻,再進一(yi)(yi)步我把所有(you)馬路都通(tong)過(guo)大(da)數(shu)據(ju)軟件后(hou)臺(tai)分析(xi)組成圖(tu)象,這圖(tu)象像上海市領導人坐飛(fei)機俯視地面一(yi)(yi)樣。所以(yi)這些都是后(hou)臺(tai)數(shu)據(ju)分析(xi)。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條(tiao)刷卡記錄(lu),地鐵每天1千萬(wan)人(ren)次,分(fen)析(xi)這些數(shu)據可改善城(cheng)市(shi)交通狀(zhuang)況(kuang)。新加坡的公共交通部門(men)十年來已經使用個(ge)人(ren)位(wei)置數(shu)據做交通需求的預測。荷蘭的交通部門(men)利用移動電話的定位(wei)功能預測汽車和行人(ren)的擁(yong)堵狀(zhuang)況(kuang)。
最后講M2M的(de)總(zong)量(liang),全世界的(de)M2M到(dao)2011年將(jiang)有20億,2020年180億,預測2020年有500億連接,主(zhu)要是在(zai)消費電子和智能(neng)建筑兩個領域,將(jiang)占70%。
2011年M2M全市場為2000億美元,2022年12000億美元,三分之(zhi)二收入來自設備與(yu)安裝,三分之(zhi)一來自服務(wu),2020年最大(da)的M2M市場在中國和美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網將(jiang)成為(wei)下一個萬億元級(ji)別的信(xin)息產業(ye)業(ye)務。
2014年10月(yue)22-23日,第二屆國際物聯(lian)網(wang)暨傳感技術與(yu)應用高峰論壇在(zai)杭州召開(kai),參(can)加論壇的100多位專家學者和1000多(duo)位企業代表、行業精英,將一起共(gong)話物聯(lian)網聯(lian)手大(da)數據(ju)帶來的前景。組委(wei)會為了適(shi)應國(guo)際合(he)作的需求,還配備了專(zhuan)業的同(tong)聲傳(chuan)譯,保證(zheng)交流無阻。