大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價(jià)值的信息而受到重視。《華爾街日報(bào)》將大數(shù)據(jù)時(shí)代、智能化生產(chǎn)和無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮的三大技術(shù)變革。麥肯錫公司的報(bào)告指出數(shù)據(jù)是一種生產(chǎn)資料，大數(shù)據(jù)是下一個創(chuàng)新、競爭、生產(chǎn)力提高的前沿。世界經(jīng)濟(jì)論壇的報(bào)告認(rèn)定大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油。因此，發(fā)達(dá)國家紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競爭制高點(diǎn)的重要抓手。
大數(shù)據(jù)時(shí)代的來臨
互聯(lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會經(jīng)濟(jì)各方面、大眾日常生活的滲透。有資料顯示，1998年全球網(wǎng)民平均每月使用流量是1MB（兆字節(jié)），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年將是10GB。全網(wǎng)流量累計(jì)達(dá)到1EB（即10億GB或1000PB）的時(shí)間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤。我國網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過數(shù)千萬筆交易，單日數(shù)據(jù)產(chǎn)生量超過50TB（1TB等于1000GB），存儲量40PB(1PB等于1000TB)。百度公司目前數(shù)據(jù)總量接近1000PB，存儲網(wǎng)頁數(shù)量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數(shù)據(jù)。一個8Mbps（兆比特每秒）的攝像頭一小時(shí)能產(chǎn)生3.6GB數(shù)據(jù)，一個城市若安裝幾十萬個交通和安防攝像頭，每月產(chǎn)生的數(shù)據(jù)量將達(dá)幾十PB。醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方。現(xiàn)在，一個病人的CT影像數(shù)據(jù)量達(dá)幾十GB，而全國每年門診人數(shù)以數(shù)十億計(jì)，并且他們的信息需要長時(shí)間保存。總之，大數(shù)據(jù)存在于各行各業(yè)，一個大數(shù)據(jù)時(shí)代正在到來。
信息爆炸不自今日起，但近年來人們更加感受到大數(shù)據(jù)的來勢迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長更快。2007年全球有5億個設(shè)備聯(lián)網(wǎng)，人均0.1個；2013年全球?qū)⒂?00億個設(shè)備聯(lián)網(wǎng)，人均70個。隨著寬帶化的發(fā)展，人均網(wǎng)絡(luò)接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續(xù)。目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時(shí)間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理。
數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進(jìn)行挖掘可能得到的價(jià)值更大，這就是大數(shù)據(jù)熱的原因。首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時(shí)代現(xiàn)實(shí)社會與網(wǎng)絡(luò)空間深度融合的產(chǎn)物，蘊(yùn)含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計(jì)，2012年底我國網(wǎng)民數(shù)為5.64億，手機(jī)網(wǎng)民為4.2億，通過分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報(bào)告，全球企業(yè)的信息存儲總量已達(dá)2.2ZB（1ZB等于1000EB），年增67％。醫(yī)院、學(xué)校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會管理所需的信息。2011年，英國《自然》雜志曾出版專刊指出，倘若能夠更有效地組織和使用大數(shù)據(jù)，人類將得到更多的機(jī)會發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用。
大數(shù)據(jù)應(yīng)用的領(lǐng)域
大數(shù)據(jù)技術(shù)可運(yùn)用到各行各業(yè)。宏觀經(jīng)濟(jì)方面，IBM日本公司建立經(jīng)濟(jì)指標(biāo)預(yù)測系統(tǒng)，從互聯(lián)網(wǎng)新聞中搜索影響制造業(yè)的480項(xiàng)經(jīng)濟(jì)數(shù)據(jù)，計(jì)算采購經(jīng)理人指數(shù)的預(yù)測值。印第安納大學(xué)利用谷歌公司提供的心情分析工具，從近千萬條網(wǎng)民留言中歸納出六種心情，進(jìn)而對道瓊斯工業(yè)指數(shù)的變化進(jìn)行預(yù)測，準(zhǔn)確率達(dá)到87%。制造業(yè)方面，華爾街對沖基金依據(jù)購物網(wǎng)站的顧客評論，分析企業(yè)產(chǎn)品銷售狀況；一些企業(yè)利用大數(shù)據(jù)分析實(shí)現(xiàn)對采購和合理庫存量的管理，通過分析網(wǎng)上數(shù)據(jù)了解客戶需求、掌握市場動向。有資料顯示，全球零售商因盲目進(jìn)貨導(dǎo)致的銷售損失每年達(dá)1000億美元，這方面的數(shù)據(jù)分析大有作為。