“通過大數(shù)據(jù)的挖掘，從資料完整度、交友真誠度及賬號安全度評定用戶‘靠譜度’。”一家著名婚戀介紹網(wǎng)站最近打出廣告，聲稱可用“大數(shù)據(jù)”技術打擊相親騙子。
如今，“大數(shù)據(jù)”是一個時髦的詞匯，很多商家紛紛推出“大數(shù)據(jù)”服務。全世界的大數(shù)據(jù)技術研發(fā)機構(gòu)都吸引了眾多風投和眼球。
大數(shù)據(jù)讓人眼前一亮，也讓人兩眼一黑。9月，著名信息技術分析公司Gartner發(fā)布《2013年大數(shù)據(jù)普及程度背后的炒作》報告，指出2013年30%的企業(yè)已開始大數(shù)據(jù)工作，而另外34%的企業(yè)有計劃在兩年內(nèi)開始。但這些企業(yè)大多告訴調(diào)查者，不知道自己在做什么，也不知道為什么要做大數(shù)據(jù)工作。
根據(jù)這一報告，半數(shù)以上企業(yè)不知道如何從數(shù)據(jù)中獲取價值；三分之一的企業(yè)缺乏大數(shù)據(jù)處理能力；甚至還有超過五分之一的公司不知大數(shù)據(jù)究竟為何物。
如果連嗅覺靈敏的企業(yè)家們都不真正理解大數(shù)據(jù)，其他人就更是難窺其全貌。大數(shù)據(jù)時代還在雛形，它會變成什么樣子沒人能說準。
起源于科學界的商業(yè)熱詞
盡管商界對大數(shù)據(jù)帶來的商機津津樂道，但一開始討論大數(shù)據(jù)時代的是科學家。“生命與醫(yī)療、粒子物理、天氣預報、基因?qū)W、地震預報等已經(jīng)是數(shù)據(jù)密集型應用了。”清華大學自動化系教授肖田元說，“典型的例子是美國氣象預報局年數(shù)據(jù)量達30PB（1PB=100萬GB），每日觀察資料超過35億份。DNA序列分析使用網(wǎng)絡大數(shù)據(jù)分析工具進行億萬次DNA短鏈分析，制造基于DNA的分子物質(zhì)。科學家還推出大尺度數(shù)據(jù)管理架構(gòu)與可視化方法，讓解碼人類基因組這種原先花費10年的工作可以在一周內(nèi)完成。”
上海大學教授費敏銳介紹道：“像華大基因，分析的數(shù)據(jù)量有幾百PB。他們在全世界找到了25種栽培稻和24種野生稻，正因為有大數(shù)據(jù)分析能力，他們掃描了這些水稻的全基因圖，找到了162個決定水稻產(chǎn)量的基因。”
大型強子對撞機（LHC）的例子更是常被提及，LHC每秒鐘生成1PB的數(shù)據(jù)，要用4.5萬個磁帶機做存檔，是目前世界上最大的數(shù)據(jù)生產(chǎn)者。
在此背景下，2008年9月，《自然》雜志推出大數(shù)據(jù)�？�，探討科研形態(tài)變化；《科學》雜志2011年也推出大數(shù)據(jù)�？�，將大數(shù)據(jù)深度分析看成未來研究的突破點。
“真正開始討論大數(shù)據(jù)，大家都公認是《自然》雜志2008年的專輯所帶來的。”電子科學研究院研究員王積鵬說，“計量文獻來看，討論大數(shù)據(jù)的論文2011年發(fā)生井噴。這幾年大家都拿大數(shù)據(jù)說話，但是主要在于應用，而不是在于理論研究。”
科學家們當時的憂慮是大數(shù)據(jù)難以處理，肖田元說：“計算機已經(jīng)超過了千萬億次級，‘天河二號’是2000萬億次，未來10年可能達到億億次。但是軟件發(fā)展很慢。美國也是這樣，認為高性能計算的算法開發(fā)滯后。我們國家高性能計算機為什么利用率不高，原因就在這里。”
典型的數(shù)據(jù)管理困境，如國內(nèi)一位信息技術工作者所說：“我做過某衛(wèi)星的信息資源管理，衛(wèi)星每天產(chǎn)生上百GB的數(shù)據(jù)量。處理完之后，文件都存在相應的磁盤、磁帶等，通過幾個系統(tǒng)呈現(xiàn)，一年下來數(shù)據(jù)量相當大，但是并沒有產(chǎn)生大數(shù)據(jù)的特性。”
工業(yè)界也提出了類似問題，肖田元舉例說：“有個著名的發(fā)動機公司提出設想，把它的航空發(fā)動機數(shù)據(jù)實時傳到總部，結(jié)合過去的數(shù)據(jù)，實時檢測和預報故障。數(shù)據(jù)量非常大，現(xiàn)在要同時檢測、計算和預報，很難做到。”這一困難，肖田元概括為“科研智能如何趕上感知能力”。
在科研界關于大數(shù)據(jù)挑戰(zhàn)的討論之后，互聯(lián)網(wǎng)商業(yè)看到了大數(shù)據(jù)中的“金礦”。這也是被如今大家所熟悉的大數(shù)據(jù)議題。最典型的例子如宏源證券研究所副所長易歡歡介紹：“阿里巴巴，最早從B2B到B2C，聚集了千萬級的中小微企業(yè)，形成了5.4億注冊用戶。這個公司牛在哪？這些數(shù)據(jù)背后的因素包括什么？銷售數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、應收賬款、存貨、資金流向、物業(yè)信息等一系列綜合信息，而且是實時的，遠比銀行報表準確得多。它有你的消費偏好、家庭地址、還款卡號等一系列信息，這才叫大數(shù)據(jù)。”
IT業(yè)研究公司M&M發(fā)布的一份最新報告指出，全球大數(shù)據(jù)市場將在未來5年內(nèi)迎來高達26%的年復合增長率——即從今年的148.7億美元增長到2018年的463.4億美元。膨脹速度如此快，可見市場對大數(shù)據(jù)概念響應的熱烈。
不同行業(yè)從不同角度發(fā)現(xiàn)了數(shù)據(jù)爆炸的挑戰(zhàn)和機會。最終，大數(shù)據(jù)頻頻見諸媒體，成為達沃斯等國際峰會上的熱詞，但就如前述報告所顯示的，企業(yè)家對這一概念并無把握。
數(shù)據(jù)公開讓美國占得先機
大數(shù)據(jù)商機顯現(xiàn)后，2012年3月，奧巴馬政府發(fā)布《大數(shù)據(jù)研究與發(fā)展倡議》，同時組建“大數(shù)據(jù)高級指導小組”，標志著美國把大數(shù)據(jù)提高到國家戰(zhàn)略層面。
國防大學教授胡曉峰說：“我認為奧巴馬試圖通過大數(shù)據(jù)發(fā)展計劃，再次重復信息高速公路計劃帶來的互聯(lián)網(wǎng)霸權(quán)。美國人已經(jīng)把目光瞄準到大數(shù)據(jù)的未來領域，我覺得是為了創(chuàng)造未來的大數(shù)據(jù)霸權(quán)奠定基礎。”
“美國政府提出大數(shù)據(jù)計劃的根源，在于有十幾年以上數(shù)據(jù)公開的基礎。”北京理工大學教授丁剛毅說，美國的DATA.GOV網(wǎng)站就體現(xiàn)了政府公開數(shù)據(jù)的力度，“大家可以上網(wǎng)看，DATA.GOV的數(shù)據(jù)量非常大，和世界銀行、聯(lián)合國的數(shù)據(jù)都可以媲美。里面很多都是敏感數(shù)據(jù)，但它就是敢公布，認為只有公布這樣的數(shù)據(jù)，才能有更好的國際合作去應對危機。歐盟、英國，包括巴西這樣的發(fā)展中國家，都已經(jīng)加入了DATA.GOV”。
丁剛毅說，在數(shù)據(jù)公開上，聯(lián)合國組織和美國的一些研究機構(gòu)在全力以赴，已經(jīng)有10年了。每年還有各式各樣的活動促進數(shù)據(jù)公開。
美國數(shù)據(jù)開放，使不少基于政府數(shù)據(jù)的服務，創(chuàng)造了巨大效益。比如硅谷有一家“氣候公司”，利用美國氣象局數(shù)據(jù)庫中幾十年的天氣數(shù)據(jù)，研究各地降雨、氣溫、土壤狀況與歷年農(nóng)作物產(chǎn)量的相關度，預測農(nóng)場下一年的產(chǎn)量，以出售保險。這家公司由于前景光明，最近被農(nóng)業(yè)巨頭孟山都公司收購。
還有利用氣象信息和航班誤點信息來預測航班誤點幾率的服務，可以推動航空公司提高正點率。再如城市治堵，政府的數(shù)據(jù)也排上了用場——美國和英國最早利用大數(shù)據(jù)管理交通，給出交通預測，讓公私車輛適時出行。
對于政府數(shù)據(jù)公開的益處，美國商務部首席信息官西克曼在一次IT會議上說：“政府實現(xiàn)預期目標的真正障礙不僅在于收集數(shù)據(jù)，更在于如何將數(shù)據(jù)轉(zhuǎn)化為切實可用的信息產(chǎn)品以及開發(fā)知識。”
“畢竟很多有能力提出好點子的人才分散在各個私有組織，他們也許會提出一些關于數(shù)據(jù)利用的優(yōu)秀方案。”西克曼說，“分享我們的數(shù)據(jù)，并不只是為了追求所謂政府事務的透明度，這真的有可能以全新方式，讓我們產(chǎn)生并傳播的數(shù)據(jù)迸發(fā)出別樣的力量——而這一切在我們現(xiàn)有的規(guī)劃及有限的資源面前根本無法實現(xiàn)。”
丁剛毅說，他曾跟國內(nèi)一些著名的互聯(lián)網(wǎng)公司接觸過，申請共享其數(shù)據(jù)，公司表示“給你一段可以，幾百個TB也好，幾個PB也可以，但連續(xù)的數(shù)據(jù)絕對不可以”。他認為，對于研究者，長期不斷、隨時隨地都可以接觸的數(shù)據(jù)，才是大數(shù)據(jù)。
“政府和行業(yè)共享數(shù)據(jù)應該是大數(shù)據(jù)的基礎，離開共享政策，根本就沒有大數(shù)據(jù)。”丁剛毅說。
大數(shù)據(jù)繁榮需共享+立法
中國人對大數(shù)據(jù)的關注并不晚。2012年7月，我國《“十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》明確提出，要“加強以海量數(shù)據(jù)處理軟件等為代表的基礎軟件的開發(fā)”。2012年12月，中關村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟宣布成立。
根據(jù)IT分析公司IDC預測，中國大數(shù)據(jù)技術與服務市場將快速增長到2016年的6.16億美元。但這一數(shù)額僅僅是世界市場的一個零頭。
網(wǎng)絡研究專家秦安在接受媒體訪問時表示，中國設立大數(shù)據(jù)機構(gòu)從時間上看，似乎并不落后于美國，但大數(shù)據(jù)應用涉及整個以互聯(lián)網(wǎng)為核心的產(chǎn)業(yè)鏈，美國在大數(shù)據(jù)應用上的領先程度由思科、微軟、谷歌等跨國IT公司的實力所決定，恐怕中國幾十年內(nèi)難以完全超越。
9月30日，中共中央政治局在中關村調(diào)研時，百度公司CEO李彥宏就宣講了大數(shù)據(jù)的題目。他認為大數(shù)據(jù)在兩方面最有價值，一是促進信息消費，加快經(jīng)濟轉(zhuǎn)型升級；二是關注社會民生，帶動社會管理創(chuàng)新。李彥宏同時表示，國家層面要發(fā)展大數(shù)據(jù)，就要促進數(shù)據(jù)開放，扶持科研、培育人才。
這種“數(shù)據(jù)開放”的觀點，代表了中國大數(shù)據(jù)行業(yè)觀察者的共識�；ヂ�(lián)網(wǎng)評論家葛甲指出：“數(shù)據(jù)開放在割據(jù)狀態(tài)的互聯(lián)網(wǎng)上靠企業(yè)的力量是完不成的，只有從政府層面去進行推動�，F(xiàn)在做大數(shù)據(jù)的公司這么多，其實多數(shù)只有個殼子，沒有實際內(nèi)容。大數(shù)據(jù)的基礎是巨量數(shù)據(jù)，不具備一定程度的數(shù)據(jù)量，是做不成的。于是，李彥宏提出了數(shù)據(jù)開放這個概念。”
葛甲認為，數(shù)據(jù)開放“這里面的難處，在于配套的管理制度和法律法規(guī)，政府的作用就是維護其公平性，堅決維護小企業(yè)的商業(yè)利益，扮演好管理者和仲裁者的角色，不要讓自身經(jīng)濟利益牽涉其間”。
信息產(chǎn)業(yè)專家、中國工程院院士鄔賀銓今年在一篇名為《大數(shù)據(jù)時代的機遇與挑戰(zhàn)》的文章中也寫道：“中國人口居世界首位，將會成為產(chǎn)生數(shù)據(jù)量最多的國家，但我們對數(shù)據(jù)保存不夠重視，對存儲數(shù)據(jù)的利用率也不高。此外，我國一些部門和機構(gòu)擁有大量數(shù)據(jù)卻不愿與其他部門共享，導致信息不完整或重復投資。政府應通過體制機制改革打破數(shù)據(jù)割據(jù)與封鎖。”
還有一位業(yè)界專家告訴記者，政府對大數(shù)據(jù)行業(yè)的扶持，除促進數(shù)據(jù)公開外，應采用購買服務的方式，而非越俎代庖，設立不必要的政府項目。
另外，鄔賀銓還指出應盡快制定《信息公開法》。“現(xiàn)在很多機構(gòu)和企業(yè)擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數(shù)據(jù)挖掘，又要防止侵犯個體隱私；既提倡數(shù)據(jù)共享，又要防止數(shù)據(jù)被濫用。”他認為，需要界定數(shù)據(jù)挖掘、利用的權(quán)限和范圍，防止信息被損壞、篡改、泄露或被竊，保護公民的信息安全。
“（大數(shù)據(jù)）標準和產(chǎn)業(yè)格局尚未形成，是我國實現(xiàn)跨越式發(fā)展的寶貴機會。”鄔賀銓說，“要注意科學規(guī)劃，切忌一哄而上。”
中國-博士人才網(wǎng)發(fā)布
聲明提示：凡本網(wǎng)注明“來源：XXX”的文/圖等稿件，本網(wǎng)轉(zhuǎn)載出于傳遞更多信息及方便產(chǎn)業(yè)探討之目的，并不意味著本站贊同其觀點或證實其內(nèi)容的真實性，文章內(nèi)容僅供參考。
