什么是大數(shù)據(jù)?
“大數(shù)據(jù)”是近年來IT行業(yè)的熱詞,大數(shù)據(jù)在各個行業(yè)的應(yīng)用逐漸變得廣泛起來,如2014年的兩會,我們聽得最多的也是大數(shù)據(jù)分析,那么,什么是大數(shù)據(jù)呢,大數(shù)據(jù)時代怎么理解呢,一起來看看吧。
大數(shù)據(jù)的定義。大數(shù)據(jù),又稱巨量資料,指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無法通過人腦甚至主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。
大數(shù)據(jù)的特點。數(shù)據(jù)量大、數(shù)據(jù)種類多、 要求實時性強、數(shù)據(jù)所蘊藏的價值大。在各行各業(yè)均存在大數(shù)據(jù),但是眾多的信息和咨詢是紛繁復(fù)雜的,我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。
大數(shù)據(jù)的采集�?茖W(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展,推動著大數(shù)據(jù)時代的來臨,各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片,數(shù)據(jù)計量單位已從從Byte、KB、MB、 GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大數(shù)據(jù)時代數(shù)據(jù)的采集也不再是技術(shù)問題,只是面對如此眾多的數(shù)據(jù),我們怎樣才能找到 其內(nèi)在規(guī)律。
大數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)必然無法用人腦來推算、估測,或者用單臺的計算機進行處理,必須采用分布式計算架構(gòu),依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù),因此,大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。
互聯(lián)網(wǎng)是個神奇的大網(wǎng),大數(shù)據(jù)開發(fā)也是一種模式,你如果真想了解大數(shù)據(jù),可以來這里,這個手機的開始數(shù)字是一八七中間的是三兒零最后的是一四二五零,按照順序組合起來就可以找到,我想說的是,除非你想做或者了解這方面的內(nèi)容,如果只是湊熱鬧的話,就不要來了。
大 數(shù)據(jù)的應(yīng)用。大數(shù)據(jù)可應(yīng)用于各行各業(yè),將人們收集到的龐大數(shù)據(jù)進行分析整理,實現(xiàn)資訊的有效利用。舉個本專業(yè)的例子,比如在奶牛基因?qū)用鎸ふ遗c產(chǎn)奶量相關(guān) 的主效基因,我們可以首先對奶牛全基因組進行掃描,盡管我們獲得了所有表型信息和基因信息,但是由于數(shù)據(jù)量龐大,這就需要采用大數(shù)據(jù)技術(shù),進行分析比對, 挖掘主效基因。例子還有很多。
大數(shù)據(jù)的意義和前景�?偟膩碚f,大數(shù)據(jù)是對大量、動態(tài)、能持續(xù)的數(shù)據(jù),通過運 用新系統(tǒng)、新工具、新模型的挖掘,從而獲得具有洞察力和新價值的東西。以前,面對龐大的數(shù)據(jù),我們可能會一葉障目、可見一斑,因此不能了解到事物的真正本 質(zhì),從而在科學(xué)工作中得到錯誤的推斷,而大數(shù)據(jù)時代的來臨,一切真相將會展現(xiàn)在我么面前。
商業(yè)智能的技術(shù)體系主要有數(shù)據(jù)倉庫(Data Warehouse,DW)、聯(lián)機分析處理(OLAP)以及數(shù)據(jù)挖掘(Data Mining,DM)三部分組成。
數(shù)據(jù)倉庫是商業(yè)智能的基礎(chǔ),許多基本報表可以由此生成,但它更大的用處是作為進一步分析的數(shù)據(jù)源。所謂數(shù)據(jù)倉庫(DW)就是面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合,用以支持經(jīng)營管理中的決策制定過程。多維分析和數(shù)據(jù)挖掘是最常聽到的例子,數(shù)據(jù)倉庫能供給它們所需要的、整齊一致的數(shù)據(jù)。
在線分析處理(OLAP)技術(shù)則幫助分析人員、管理人員從多種角度把從原始數(shù)據(jù)中轉(zhuǎn)化出來、能夠真正為用戶所理解的、并真實反映數(shù)據(jù)維特性的信息,進行快速、一致、交互地訪問,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。
數(shù)據(jù)挖掘(DM)是一種決策支持過程,它主要基于AI、機器學(xué)習(xí)、統(tǒng)計學(xué)等技術(shù),高度自動化地分析企業(yè)原有的數(shù)據(jù),做出歸納性的推理,從中挖掘出潛在的模式,預(yù)測客戶的行為,幫助企業(yè)的決策者調(diào)整市場策略,減少風(fēng)險,做出正確的決策。
商業(yè)智能的應(yīng)用范圍
1.采購管理
2.財務(wù)管理
3.人力資源管理
4.客戶服務(wù)
5.配銷管理
6.生產(chǎn)管理
7.銷售管理
8.行銷管理
商業(yè)智能實施步驟商業(yè)智能系統(tǒng)處理流程[1]
商業(yè)智能(BI)作為一個概念,描述與業(yè)務(wù)緊密結(jié)合,并且根據(jù)需要進行相關(guān)特性展示和數(shù)據(jù)處理的過程。
為了讓數(shù)據(jù)“活”起來,往往需要利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、報表設(shè)計與展示、聯(lián)機在線分析(OLAP)等技術(shù)。數(shù)據(jù)或者數(shù)據(jù)源包含的種類繁多,例如存儲在關(guān)系型數(shù)據(jù)庫中的,在外圍數(shù)據(jù)文件中的,在業(yè)務(wù)流中實時產(chǎn)生存儲在內(nèi)存中的等等。而商業(yè)智能最終能夠輔助的業(yè)務(wù)經(jīng)營決策,既可以是操作層的,也可以是戰(zhàn)術(shù)層和戰(zhàn)略層的決策。
這些分析有財務(wù)管理、點擊流分析(Clickstream)、供應(yīng)鏈管理、關(guān)鍵績效指標(Key Performance Indicators, KPI)、客戶分析等。商業(yè)智能關(guān)注的是,從各種渠道(軟件,系統(tǒng),人,等等)發(fā)掘可執(zhí)行的戰(zhàn)略信息。商業(yè)智能用的工具有抽�。‥xtraction)、轉(zhuǎn)換(Transformation)和加載(Load)軟件(搜集數(shù)據(jù),建立標準的數(shù)據(jù)結(jié)構(gòu),然后把這些數(shù)據(jù)存在另外的數(shù)據(jù)庫中)、數(shù)據(jù)挖掘和在線分析(Online Analytical Processing,允許用戶容易地從多個角度選取和察看數(shù)據(jù))等 。
商業(yè)智能系統(tǒng)的功能
商業(yè)智能系統(tǒng)應(yīng)具有的主要功能:
數(shù)據(jù)倉庫:高效的數(shù)據(jù)存儲和訪問方式。提供結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)存儲,容量大,運行穩(wěn)定,維護成本低,支持元數(shù)據(jù)管理,支持多種結(jié)構(gòu),例如中心式數(shù)據(jù)倉庫,分布式數(shù)據(jù)倉庫等。存儲介質(zhì)能夠支持近線式和二級存儲器。能夠很好的支持現(xiàn)階段容災(zāi)和備份方案。
數(shù)據(jù)ETL:數(shù)據(jù)ETL支持多平臺、多數(shù)據(jù)存儲格式(多數(shù)據(jù)源,多格式數(shù)據(jù)文件,多維數(shù)據(jù)庫等)的數(shù)據(jù)組織,要求能自動化根據(jù)描述或者規(guī)則進行數(shù)據(jù)查找和理解。減少海量、復(fù)雜數(shù)據(jù)與全局決策數(shù)據(jù)之間的差距。幫助形成支撐決策要求的參考內(nèi)容。
數(shù)據(jù)統(tǒng)計輸出(報表):報表能快速的完成數(shù)據(jù)統(tǒng)計的設(shè)計和展示,其中包括了統(tǒng)計數(shù)據(jù)表樣式和統(tǒng)計圖展示,可以很好的輸出給其他應(yīng)用程序或者Html形式表現(xiàn)和保存。對于自定義設(shè)計部分要提供簡單易用的設(shè)計方案,支持靈活的數(shù)據(jù)填報和針對非技術(shù)人員設(shè)計的解決方案。能自動化完成輸出內(nèi)容的發(fā)布。
分析功能:可以通過業(yè)務(wù)規(guī)則形成分析內(nèi)容,并且展示樣式豐富,具有一定的交互要求,例如預(yù)警或者趨勢分析等。要支持多維度的聯(lián)機在線分析(OLAP分析),實現(xiàn)維度變化、旋轉(zhuǎn)、數(shù)據(jù)切片和數(shù)據(jù)鉆取等。幫助決策做出正確的判斷。
典型的商業(yè)智能系統(tǒng)
典型的商業(yè)智能系統(tǒng)有:
客戶分析系統(tǒng)、菜籃分析系統(tǒng)、反洗錢系統(tǒng)、反詐騙系統(tǒng)、客戶聯(lián)絡(luò)分析系統(tǒng)、市場細分系統(tǒng)、信用計分系統(tǒng)、產(chǎn)品收益系統(tǒng)、庫存運作系統(tǒng)以及與商業(yè)風(fēng)險相關(guān)的應(yīng)用系統(tǒng)等。
[編輯]商業(yè)智能解決方案廠商
提供商業(yè)智能解決方案的著名IT廠商包括微軟、IBM、Oracle、Microstrategy、Business Objects、Cognos、SAS等