經(jīng)常有人問(wèn)我有關(guān)“大數(shù)據(jù)”的問(wèn)題，而且多半情況下我們似乎是在各種不同的抽象和理解級(jí)別進(jìn)行交談。實(shí)時(shí) 和高級(jí)分析 之類的詞語(yǔ)頻頻現(xiàn)身，并且我們總是立即開(kāi)始談?wù)摦a(chǎn)品，這通常并不是一個(gè)好主意。
因此我們來(lái)回顧一下，從一個(gè)用例的角度出發(fā)來(lái)看看大數(shù)據(jù)的含義，然后我們可以將該用例與一個(gè)可用的高級(jí)基礎(chǔ)架構(gòu)圖對(duì)應(yīng)起來(lái)。這些全部完成之后，（我希望）您將開(kāi)始看到一種模式并開(kāi)始了解實(shí)時(shí) 和分析 之類的詞的適用場(chǎng)合。
我不打算從頭開(kāi)始發(fā)明什么，而是觀察了描述 Smartmall 的主題演講用例（在該視頻中您可以看到一個(gè)智能商城的漂亮動(dòng)畫和說(shuō)明）。
Smartmall 背后的思想通常稱為多渠道客戶交互，意即“我如何通過(guò)其智能手機(jī)與我的實(shí)體店中的客戶交互”？相比要求客戶掏出智能手機(jī)在互聯(lián)網(wǎng)上瀏覽價(jià)格，我們寧愿主動(dòng)推動(dòng)其行為。
Smartmall 的目標(biāo)相當(dāng)直接：
提高商城內(nèi)店鋪的流量。
增加每次訪問(wèn)和每筆交易的收益。
降低只看不買的百分比。
在技術(shù)方面，您可能需要：
提供個(gè)人相關(guān)位置信息的智能設(shè)備
用于實(shí)時(shí)交互和分析的數(shù)據(jù)收集點(diǎn)和決策點(diǎn)
用于面向批處理的分析的存儲(chǔ)和處理工具
在數(shù)據(jù)集方面，您可能至少需要：
與個(gè)人和個(gè)人識(shí)別設(shè)備（電話、會(huì)員卡等）相關(guān)聯(lián)的客戶個(gè)人信息
與詳細(xì)的購(gòu)買行為相關(guān)聯(lián)并與優(yōu)惠券使用、首選產(chǎn)品及其他產(chǎn)品推薦等要素相關(guān)聯(lián)的非常細(xì)粒度的客戶細(xì)分
一圖勝千言，圖 2 同時(shí)顯示了實(shí)時(shí)決策基礎(chǔ)架構(gòu)以及批量數(shù)據(jù)處理和模型生成（分析）基礎(chǔ)架構(gòu)。
第一步，這個(gè)理論上最重要的一步，以及最重要的數(shù)據(jù)塊關(guān)乎客戶身份識(shí)別。在本例中，第 1 步是攜帶智能電話的用戶走進(jìn)商城這一實(shí)際情況。通過(guò)識(shí)別這一情況，我們觸發(fā)第 2a 步和第 2b 步中在用戶個(gè)人信息數(shù)據(jù)庫(kù)中的查詢。
我們稍后將略微詳細(xì)地討論這一點(diǎn)，一般來(lái)說(shuō)，這是一個(gè)利用索引結(jié)構(gòu)來(lái)快速、高效執(zhí)行查詢的數(shù)據(jù)庫(kù)。一旦查找到實(shí)際客戶，就將此客戶的個(gè)人信息提供給我們的實(shí)時(shí)專家系統(tǒng)（第 3 步）。
該專家系統(tǒng)（定制的軟件或 COTS 軟件）中的模型評(píng)估提供的數(shù)據(jù)和個(gè)人信息并決定要采取的行動(dòng)（如發(fā)送優(yōu)惠券）。所有這些都是實(shí)時(shí)發(fā)生的，記住，網(wǎng)站只需數(shù)毫秒即可完成這項(xiàng)工作，而我們的智能商城在 1 秒左右完成這項(xiàng)工作就可以了。
為了構(gòu)建精確的模型（許多典型的大數(shù)據(jù)熱門詞匯正是來(lái)源于此），我們?cè)趫D中添加一個(gè)面向批處理的大規(guī)模處理場(chǎng)。圖 3 下半部分顯示如何利用包括 Apache Hadoop 和 Apache Hadoop 分布式文件系統(tǒng) (HDFS) 在內(nèi)的一組組件來(lái)創(chuàng)建購(gòu)買行為模型。傳統(tǒng)上，我們利用數(shù)據(jù)庫(kù)（或數(shù)據(jù)倉(cāng)庫(kù) [DW]）來(lái)實(shí)現(xiàn)這一目的?，F(xiàn)在我們還是這樣，但現(xiàn)在我們?cè)跀?shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)之前利用一個(gè)基礎(chǔ)架構(gòu)來(lái)跟蹤更多數(shù)據(jù)并不斷地重新評(píng)估所有數(shù)據(jù)。
說(shuō)一下數(shù)據(jù)源。一個(gè)重要元素是銷售點(diǎn) (POS) 數(shù)據(jù)（在關(guān)系數(shù)據(jù)庫(kù)中），您需要將其與客戶信息（來(lái)自網(wǎng)店、手機(jī)或會(huì)員卡）相關(guān)聯(lián)。圖 2 和圖 3 中包含客戶個(gè)人信息的 NoSQL 數(shù)據(jù)庫(kù)顯示網(wǎng)店元素。非常重要的是，要確保此多渠道數(shù)據(jù)與 Web 瀏覽、購(gòu)買、搜索和社交媒體數(shù)據(jù)相集成（并且執(zhí)行重復(fù)數(shù)據(jù)刪除，但這是題外話）。
一旦完成數(shù)據(jù)關(guān)聯(lián)和數(shù)據(jù)集成，就可以描繪出個(gè)人的行為。本質(zhì)上，大數(shù)據(jù)使我們能夠在個(gè)人一級(jí)進(jìn)行極細(xì)微的細(xì)分 — 實(shí)際上是對(duì)數(shù)百萬(wàn)客戶中的每一位！
這一切的最終目標(biāo)是構(gòu)建實(shí)時(shí)決策引擎中使用的高度精確的模型。此模型的目標(biāo)與上述業(yè)務(wù)目標(biāo)直接相關(guān)。換句話說(shuō)，如何在客戶來(lái)到商城時(shí)向客戶發(fā)送優(yōu)惠券，讓客戶前往您的店鋪進(jìn)行消費(fèi)？
現(xiàn)在，如何通過(guò)實(shí)際產(chǎn)品實(shí)現(xiàn)這一目標(biāo)，并且數(shù)據(jù)在此生態(tài)系統(tǒng)中如何流動(dòng)？下面幾節(jié)為您指出答案。
要查找數(shù)據(jù)、收集數(shù)據(jù)以及根據(jù)數(shù)據(jù)作出決策，您需要實(shí)現(xiàn)一個(gè)分布式系統(tǒng)。因?yàn)樵O(shè)備基本上在不停地發(fā)送數(shù)據(jù)，您需要能夠以較小的延遲加載數(shù)據(jù)（收集或獲取數(shù)據(jù)）。這項(xiàng)工作在收集點(diǎn)完成，如圖 4 所示。這里也是為實(shí)時(shí)決策而評(píng)估數(shù)據(jù)的位置。稍后我們?cè)倩氐绞占c(diǎn)。
來(lái)自收集點(diǎn)的數(shù)據(jù)流入 Hadoop 集群（在本例中，即大數(shù)據(jù)機(jī)）。您可能還會(huì)將其他數(shù)據(jù)提供給此設(shè)備。例如，圖 4 所示的社交信源將來(lái)自分擇相關(guān)哈希標(biāo)記的數(shù)據(jù)聚合者（通常是一家公司）。然后使用 Flume 或 Scribe 將數(shù)據(jù)加載到 Hadoop。
下一步是添加數(shù)據(jù)（社交信源、用戶個(gè)人信息和使結(jié)果與分析相關(guān)所需的任何其他數(shù)據(jù)）和開(kāi)始整理、解釋和理解數(shù)據(jù)。
例如，將用戶個(gè)人信息添加到社交信源和添加位置數(shù)據(jù)以建立對(duì)各用戶以及用戶相關(guān)模式的全面了解。通常，這使用 Apache Hadoop MapReduce 來(lái)完成。用戶個(gè)人信息通過(guò) Hadoop InputFormat 接口從 Oracle NoSQL 數(shù)據(jù)庫(kù)批量加載，因此被添加到 MapReduce 數(shù)據(jù)集。
為了將所有這些與 POS 數(shù)據(jù)、客戶關(guān)系管理 (CRM) 數(shù)據(jù)以及各種其他交易數(shù)據(jù)結(jié)合，您可能會(huì)使用 Oracle Big Data Connectors 將精簡(jiǎn)的數(shù)據(jù)高效地移動(dòng)到 Oracle 數(shù)據(jù)庫(kù)。然后您可以使用 Oracle 商務(wù)智能云服務(wù)器 (Exalytics) 或業(yè)務(wù)智能 (BI) 工具或者（這是比較有趣的地方）通過(guò)數(shù)據(jù)挖掘之類的工具，對(duì)您所跟蹤的數(shù)據(jù)有一個(gè)全面的了解。
最后一個(gè)階段（這里稱為“分析”）是創(chuàng)建數(shù)據(jù)挖掘模型和統(tǒng)計(jì)模型以便用于產(chǎn)生合適的優(yōu)惠券。這些模型真正是皇冠上的明珠，因?yàn)樗鼈冏屇軌蚧诜浅＞_的模型實(shí)時(shí)進(jìn)行決策。模型進(jìn)入收集點(diǎn)和決策點(diǎn)以作用于實(shí)時(shí)數(shù)據(jù)，如圖 7 所示。
在圖 7 中，您可以看到專家引擎中使用了一個(gè)灰色的模型。該模型描述和預(yù)測(cè)客戶個(gè)人的行為并基于這些預(yù)測(cè)確定要采取的行動(dòng)。
以上所述是對(duì)“大數(shù)據(jù)”和實(shí)時(shí)決策的端到端觀察。大數(shù)據(jù)讓我們能夠利用海量的數(shù)據(jù)和處理資源得出精確的模型。它還讓我們能夠確定以前無(wú)法預(yù)期的種種事情，從而產(chǎn)生更精確的模型以及新思想、新業(yè)務(wù)等等。
您可以使用基于 Oracle 技術(shù)的 Oracle 大數(shù)據(jù)機(jī)實(shí)現(xiàn)在此所展示的整個(gè)解決方案。然后就只需找?guī)讉€(gè)了解編程模型的人即可創(chuàng)建這些皇冠上的明珠。
咨詢
管理
微信業(yè)務(wù)咨詢