云(yun)計算(suan)時代 大數據與云(yun)計算(suan)和物聯網之間(jian)的關系(xi)
大數據(ju)(ju)時代的(de)到來(lai)(lai),是全球(qiu)知名咨詢公司(si)麥肯錫最早提出的(de),麥肯錫稱(cheng):“數據(ju)(ju),已經滲透(tou)到當今每一個行業(ye)和業(ye)務職(zhi)能領(ling)域,成為重要的(de)生產因素(su)。人們對于(yu)海量數據(ju)(ju)的(de)挖掘和運用,預(yu)示著新一波(bo)生產率增長和消費者盈(ying)余浪潮的(de)到來(lai)(lai)。”
《互(hu)聯(lian)網(wang)進化論》一書中(zhong)提出“互(hu)聯(lian)網(wang)的未來(lai)功能和結構(gou)將于(yu)人類大(da)腦高(gao)度相似,也(ye)將具備互(hu)聯(lian)網(wang)虛擬感覺,虛擬運動,虛擬中(zhong)樞,虛擬記(ji)憶神經(jing)系統”,并繪(hui)制了一幅互(hu)聯(lian)網(wang)虛擬大(da)腦結構(gou)圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大(da)數據,云(yun)計算,物聯網和(he)移(yi)動(dong)互聯網與傳統互聯網之(zhi)間的關系。
從(cong)這幅圖中(zhong)我們可以(yi)看出(chu):
物聯網對應了互聯網的感覺和運動(dong)神經(jing)系統。
云計算是互(hu)聯網的(de)核心硬件層和核心軟(ruan)件層的(de)集合,也是互(hu)聯網中樞神經系統萌芽。
大數據代表了互聯網的信息層(數據海洋),是互聯網(wang)智慧(hui)和(he)意識產生的基礎。
包括(kuo)物聯(lian)(lian)(lian)網,傳(chuan)統互(hu)(hu)聯(lian)(lian)(lian)網,移動互(hu)(hu)聯(lian)(lian)(lian)網在(zai)源(yuan)源(yuan)不斷的向互(hu)(hu)聯(lian)(lian)(lian)網大(da)數(shu)據(ju)層匯聚數(shu)據(ju)和接受數(shu)據(ju)。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左(zuo)右。很(hen)多(duo)用戶把多(duo)個(ge)數據集放在一(yi)起,形成PB級的數據(ju)量。同時(shi)從數據(ju)源來(lai)談,大數據(ju)是(shi)指這些數據(ju)來(lai)自(zi)多種數據(ju)源,以(yi)實(shi)時(shi)、迭代的方式(shi)來(lai)實(shi)現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等(deng),他通過大家(jia)日(ri)常網絡留下痕跡和腳(jiao)印(yin)獲取大量(liang)的(de)數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個數據,IMT1。4TB數據等各種的數據通過(guo)傳感器產生,也有在網(wang)上(shang)直接(jie)產生的,我們現在處于大數據時代,物聯網(wang)一分鐘(zhong)可以(yi)產生非常多(duo)的東西,蘋果下載(zai)2萬余次,一分鐘會上傳10萬條(tiao)新微博,全世界物聯網上(shang)(shang)虛擬網絡上(shang)(shang),產生了大量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新(xin)浪(lang)微(wei)博晚(wan)上有100萬以(yi)上(shang)的(de)響應請(qing)求,中國(guo)聯通也進行大數據搜集,他(ta)們以(yi)前給(gei)用戶每(mei)一(yi)(yi)個月發一(yi)(yi)個帳單,很多(duo)用戶認為(wei)我沒有上(shang)這么多(duo),中國(guo)聯通改制就詳細記(ji)錄客戶的(de)上(shang)網記(ji)錄一(yi)(yi)秒鐘83萬(wan)條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發動機(ji)引擎收(shou)據(ju)588,企業(ye)資(zi)源管理客戶關系管理等現在是(shi)大(da)數據,企業(ye)本身也是(shi)每時每刻產生大(da)量數據。
2012年IDC公司指出在2005年由機(ji)器產生的數據(ju)占到(dao)數據(ju)總量的11%,2020增(zeng)加到42%。比如(ru)說醫療,現在到醫院(yuan)看病都要CT,清晰(xi)度(du)很(hen)高300多兆,一個病人CT影響往往多大兩千幅,數(shu)據量(liang)已經到了幾十個GB,如(ru)今中國(guo)大城市的(de)醫院(yuan)每天門診上完人,全(quan)國(guo)每年住院(yuan)已經達到(dao)了兩億人次,按照醫療行業的(de)相(xiang)關規定,一(yi)個患者的(de)數據(ju)通常需要保留50年以上(shang)。
物(wu)(wu)聯(lian)(lian)網(wang)產生的(de)大(da)數(shu)(shu)據(ju)(ju)(ju)與一般的(de)大(da)數(shu)(shu)據(ju)(ju)(ju)有(you)不同的(de)特點。物(wu)(wu)聯(lian)(lian)網(wang)的(de)數(shu)(shu)據(ju)(ju)(ju)是(shi)(shi)異(yi)構的(de)、多樣性的(de)、非結構和(he)有(you)噪(zao)聲的(de),更(geng)大(da)的(de)不同是(shi)(shi)它的(de)高(gao)增長(chang)率。物(wu)(wu)聯(lian)(lian)網(wang)的(de)數(shu)(shu)據(ju)(ju)(ju)有(you)明顯的(de)顆粒性,其數(shu)(shu)據(ju)(ju)(ju)通常帶有(you)時間、位(wei)置(zhi)、環境和(he)行為(wei)等信息。物(wu)(wu)聯(lian)(lian)網(wang)數(shu)(shu)據(ju)(ju)(ju)可以(yi)說也是(shi)(shi)社(she)交數(shu)(shu)據(ju)(ju)(ju),但不是(shi)(shi)人與人的(de)交往信息,而是(shi)(shi)物(wu)(wu)與物(wu)(wu),物(wu)(wu)與人的(de)社(she)會合作信息。
物(wu)聯(lian)(lian)網的(de)混搭將使(shi)物(wu)聯(lian)(lian)網的(de)數(shu)據變得(de)更(geng)有用,將物(wu)聯(lian)(lian)網感知的(de)數(shu)據與通(tong)過社會媒體獲(huo)得(de)的(de)數(shu)據結合(he),也(ye)就是人跟(gen)機(ji)器的(de)社會聯(lian)(lian)網,將使(shi)決策更(geng)科學(xue)。
與隱私(si)與法律有(you)關的特殊性(xing),誰是物(wu)聯(lian)(lian)網(wang)數據的擁(yong)有(you)者,通(tong)過物(wu)聯(lian)(lian)網(wang)可(ke)以控制(zhi)家用(yong)電器。
最(zui)后,大數(shu)據助(zhu)力物聯(lian)網,不僅僅是(shi)收集傳感性(xing)的數(shu)據,實物跟(gen)虛(xu)擬物要結合起(qi)來。今天北京交通堵(du)塞(sai),但是(shi)并不知道堵(du)塞(sai)原(yuan)因,如果(guo)政府發布消息(xi)和市民微博發布消息(xi)結合起(qi)來就(jiu)知道發生什么事,物聯(lian)網要過(guo)濾(lv),過(guo)濾(lv)要有一定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地(di)震,總有一天會說準。
物聯網數據挖(wa)掘(jue)涉及到數據存(cun)(cun)儲(chu)(chu),從實物虛擬(ni)物獲取存(cun)(cun)儲(chu)(chu),然(ran)后進行(xing)一(yi)些虛擬(ni)化和找出(chu)數據摘(zhai)要,是要加標(biao)簽的。
數據挖掘模式,合并壓縮、清洗(xi)過濾、格式轉換,法階(jie)段數據分析、知(zhi)識發現、可視化(hua)、數據階(jie)段,關聯規則(ze),分類、聚類、序列、路徑(jing)。因此后面(mian)工(gong)作更(geng)大更(geng)重要而且更(geng)難。
最近大家關注PM2.5,另外云(yun)南(nan)西(xi)(xi)北邊、西(xi)(xi)川西(xi)(xi)南(nan)邊干(gan)旱容易發生火災,利用雷達、飛(fei)機可以搜集數據,也需要進(jin)行分(fen)析,然(ran)后(hou)產生判斷(duan)。
在水(shui)面取樣,通過衛星發出去(qu),利用云(yun)計算、中(zhong)心數(shu)(shu)(shu)據(ju)挖掘,河流的(de)(de)(de)(de)(de)環境污(wu)(wu)染,數(shu)(shu)(shu)字化的(de)(de)(de)(de)(de)模式,我們可以發現有的(de)(de)(de)(de)(de)地(di)方(fang)(fang)有環境污(wu)(wu)染,所污(wu)(wu)染本身需要異(yi)源數(shu)(shu)(shu)據(ju),除了(le)傳感(gan)(gan)器、物(wu)聯網數(shu)(shu)(shu)據(ju)有噪聲的(de)(de)(de)(de)(de)不干凈的(de)(de)(de)(de)(de),所以需要多種數(shu)(shu)(shu)據(ju)的(de)(de)(de)(de)(de)結合(he),歷史數(shu)(shu)(shu)據(ju)的(de)(de)(de)(de)(de)挖掘,然后(hou)進行(xing)分析預感(gan)(gan)、預警,所以數(shu)(shu)(shu)據(ju)后(hou)面的(de)(de)(de)(de)(de)處(chu)理,食(shi)(shi)品(pin)現在也(ye)是(shi)(shi)大家所關注的(de)(de)(de)(de)(de),手機拍下(xia)來食(shi)(shi)品(pin)到后(hou)臺(tai)去(qu)查,是(shi)(shi)哪個公司的(de)(de)(de)(de)(de)食(shi)(shi)品(pin),在什(shen)(shen)么(me)地(di)方(fang)(fang)生(sheng)產,食(shi)(shi)品(pin)生(sheng)產日期等等,包括食(shi)(shi)品(pin)安全(quan)不安全(quan),營(ying)養成(cheng)分怎(zen)么(me)樣,食(shi)(shi)品(pin)監(jian)控,運用后(hou)臺(tai)數(shu)(shu)(shu)據(ju)等等。最近禽(qin)流感(gan)(gan)流行(xing),怎(zen)么(me)去(qu)監(jian)測,凡(fan)是(shi)(shi)產生(sheng)流感(gan)(gan)病人在網上尋(xun)找,吃什(shen)(shen)么(me)藥好(hao),哪個地(di)方(fang)(fang)看病好(hao),或(huo)者微博交(jiao)流。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這樣看上(shang)(shang)去(qu)每時每刻(ke)只有能夠(gou)監(jian)控(kong)很小一(yi)部分內容(rong),通(tong)過軟件把整條(tiao)路上(shang)(shang)變成一(yi)個視頻,再進一(yi)步我把所有馬(ma)路都(dou)通(tong)過大數據(ju)軟件后臺分析組成圖(tu)象(xiang),這圖(tu)象(xiang)像上(shang)(shang)海市領導人坐(zuo)飛機俯視地面(mian)一(yi)樣。所以這些都(dou)是后臺數據(ju)分析。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千(qian)萬條刷卡記錄,地鐵每天1千萬(wan)人次,分析這些數(shu)據可改善(shan)城市交(jiao)(jiao)通(tong)(tong)狀況。新(xin)加坡的(de)公共(gong)交(jiao)(jiao)通(tong)(tong)部(bu)門(men)十年來(lai)已經使用個人位置數(shu)據做交(jiao)(jiao)通(tong)(tong)需求的(de)預測。荷(he)蘭的(de)交(jiao)(jiao)通(tong)(tong)部(bu)門(men)利用移動(dong)電話的(de)定位功能預測汽(qi)車和(he)行人的(de)擁堵狀況。
最后講M2M的總量,全世界的M2M到2011年將有(you)20億,2020年180億,預測2020年有500億連接(jie),主要(yao)是在消費電子和智能建筑(zhu)兩個領域,將占70%。
2011年M2M全市場為2000億美(mei)元(yuan),2022年(nian)12000億美元,三分之二收入(ru)來(lai)自設備與安裝(zhuang),三分之一來(lai)自服務,2020年(nian)最大的M2M市場在中國和美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網(wang)將(jiang)成為下一個萬億元級別的(de)信息產業(ye)業(ye)務。
2014年10月22-23日,第(di)二屆(jie)國際物聯網暨傳感技術與應用高峰論壇在杭(hang)州(zhou)召開,參(can)加(jia)論壇的100多(duo)位專(zhuan)家(jia)學者和1000多(duo)位企業(ye)代(dai)表、行業(ye)精英(ying),將(jiang)一起共話物聯(lian)(lian)網聯(lian)(lian)手大數據帶(dai)來的(de)(de)前(qian)景。組(zu)委會為了適應國際合(he)作的(de)(de)需求(qiu),還配(pei)備(bei)了專業的同聲傳譯,保證交(jiao)流無阻。