今日(2013-3-13)讀2013-03-12“大眾日?qǐng)?bào)”第四版“大數(shù)據(jù):帶來(lái)了什么”,因不懂“大數(shù)據(jù)”的概念,有一種“打破砂鍋問(wèn)到底”的沖動(dòng)。 于是,以“大數(shù)據(jù)”為關(guān)鍵詞在互聯(lián)網(wǎng)上進(jìn)行搜索,對(duì)大數(shù)據(jù)的概念有了一個(gè)概括的了解。要點(diǎn)是: 大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。 大數(shù)據(jù)[2]技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵,在于提高對(duì)數(shù)據(jù)的“加工能力”,通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。 從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘,但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。[3] 最小的基本單位是Byte,按順序給出所有單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB, 它們按照進(jìn)率1024(2的十次方)來(lái)計(jì)算: 1Byte = 8 bit 1 KB = 1,024 Bytes 1 TB = 1,024 GB = 1,048,576 MB 1 PB = 1,024 TB = 1,048,576 GB 1 EB = 1,024 PB = 1,048,576 TB 1 ZB = 1,024 EB = 1,048,576 PB 1 YB = 1,024 ZB = 1,048,576 EB 1 BB = 1,024 YB = 1,048,576 ZB 1 NB = 1,024 BB = 1,048,576 YB 1 DB = 1,024 NB = 1,048,576 BB 大數(shù)據(jù)的4個(gè)“V”,或者說(shuō)特點(diǎn)有四個(gè)層面:第一,數(shù)據(jù)體量巨大。從TB級(jí)別,躍升到PB級(jí)別;第二,數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三,價(jià)值密度低,商業(yè)價(jià)值高。以視頻為例,連續(xù)不間斷監(jiān)控過(guò)程中,可能有用的數(shù)據(jù)僅僅有一兩秒。第四,處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。業(yè)界將其歸納為4個(gè)“V”——Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值) 從某種程度上說(shuō),大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡(jiǎn)言之,從各種各樣類型的數(shù)據(jù)中,快速獲得有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù)。 有了對(duì)大數(shù)據(jù)概念的基本了解,又想進(jìn)一步更深入地學(xué)習(xí)大數(shù)據(jù)知識(shí),我又在“新浪·愛問(wèn)·共享資料”進(jìn)行搜索,下載了三本有關(guān)“大數(shù)據(jù)”知識(shí)的書籍: 1、電子科技大學(xué)教授,互聯(lián)網(wǎng)科學(xué)中心主任 周濤翻譯 維爾托·邁爾-舍恩伯格編著的《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》。 2、涂子沛著《大數(shù)據(jù)革命》 3、周自恒譯《大數(shù)據(jù)的沖擊》 還有沒有專家教授講解“大數(shù)據(jù)”的視頻資料呢?我又在“優(yōu)酷”網(wǎng)站進(jìn)行搜索,收藏幾個(gè)關(guān)于大數(shù)據(jù)的視頻: 1、牛津大學(xué)教授、《大數(shù)據(jù)時(shí)代》作者維克托·邁爾·舍恩伯格《大數(shù)據(jù)時(shí)代,生活工作與思維的大變革》的演講,有中文翻譯。 2、繆其浩 顧君忠 《大數(shù)據(jù)時(shí)代:趨勢(shì)、機(jī)遇與挑戰(zhàn)》(上、下) 3、視頻: [頭腦風(fēng)暴]20130630 大數(shù)據(jù)時(shí)代來(lái)了? 為了弄懂一個(gè)“大數(shù)據(jù)”,我花了不少腦筋,拉拉雜雜寫了這么多,一口吃不成胖子,下載了這么多大數(shù)據(jù)資料,還得慢慢學(xué)習(xí)、咀嚼、思考。就此打住。 |
|