通過觀察典型用例了解大數(shù)據(jù)基礎(chǔ)架構(gòu)。

經(jīng)常有人問我有關(guān)“大數(shù)據(jù)”的問題，而且多半情況下我們似乎是在各種不同的抽象和理解級別進(jìn)行交談。實(shí)時(shí) 和高級分析 之類的詞語頻頻現(xiàn)身，并且我們總是立即開始談?wù)摦a(chǎn)品，這通常并不是一個(gè)好主意。

希望將類似本文的技術(shù)文章發(fā)送到您的收件箱嗎？請訂閱系統(tǒng)社區(qū)新聞快訊 — 僅包含面向系統(tǒng)管理員和開發(fā)人員的技術(shù)內(nèi)容。

因此我們來回顧一下，從一個(gè)用例的角度出發(fā)來看看大數(shù)據(jù)的含義，然后我們可以將該用例與一個(gè)可用的高級基礎(chǔ)架構(gòu)圖對應(yīng)起來。這些全部完成之后，（我希望）您將開始看到一種模式并開始了解實(shí)時(shí) 和分析 之類的詞的適用場合。

業(yè)務(wù)方面的用例

我不打算從頭開始發(fā)明什么，而是觀察了描述 Smartmall 的主題演講用例（在該視頻中您可以看到一個(gè)智能商城的漂亮動畫和說明）。

圖 1. Smartmall

Smartmall 背后的思想通常稱為多渠道客戶交互，意即“我如何通過其智能手機(jī)與我的實(shí)體店中的客戶交互”？相比要求客戶掏出智能手機(jī)在互聯(lián)網(wǎng)上瀏覽價(jià)格，我們寧愿主動推動其行為。

Smartmall 的目標(biāo)相當(dāng)直接：

• 提高商城內(nèi)店鋪的流量。

• 增加每次訪問和每筆交易的收益。

• 降低只看不買的百分比。

您需要什么？

在技術(shù)方面，您可能需要：

• 提供個(gè)人相關(guān)位置信息的智能設(shè)備

• 用于實(shí)時(shí)交互和分析的數(shù)據(jù)收集點(diǎn)和決策點(diǎn)

• 用于面向批處理的分析的存儲和處理工具

在數(shù)據(jù)集方面，您可能至少需要：

• 與個(gè)人和個(gè)人識別設(shè)備（電話、會員卡等）相關(guān)聯(lián)的客戶個(gè)人信息

• 與詳細(xì)的購買行為相關(guān)聯(lián)并與優(yōu)惠券使用、首選產(chǎn)品及其他產(chǎn)品推薦等要素相關(guān)聯(lián)的非常細(xì)粒度的客戶細(xì)分

高級組件

一圖勝千言，圖 2 同時(shí)顯示了實(shí)時(shí)決策基礎(chǔ)架構(gòu)以及批量數(shù)據(jù)處理和模型生成（分析）基礎(chǔ)架構(gòu)。

圖 2. 示例基礎(chǔ)架構(gòu)

第一步，這個(gè)理論上最重要的一步，以及最重要的數(shù)據(jù)塊關(guān)乎客戶身份識別。在本例中，第 1 步是攜帶智能電話的用戶走進(jìn)商城這一實(shí)際情況。通過識別這一情況，我們觸發(fā)第 2a 步和第 2b 步中在用戶個(gè)人信息數(shù)據(jù)庫中的查詢。

我們稍后將略微詳細(xì)地討論這一點(diǎn)，一般來說，這是一個(gè)利用索引結(jié)構(gòu)來快速、高效執(zhí)行查詢的數(shù)據(jù)庫。一旦查找到實(shí)際客戶，就將此客戶的個(gè)人信息提供給我們的實(shí)時(shí)專家系統(tǒng)（第 3 步）。

該專家系統(tǒng)（定制的軟件或 COTS 軟件）中的模型評估提供的數(shù)據(jù)和個(gè)人信息并決定要采取的行動（如發(fā)送優(yōu)惠券）。所有這些都是實(shí)時(shí)發(fā)生的，記住，網(wǎng)站只需數(shù)毫秒即可完成這項(xiàng)工作，而我們的智能商城在 1 秒左右完成這項(xiàng)工作就可以了。

為了構(gòu)建精確的模型（許多典型的大數(shù)據(jù)熱門詞匯正是來源于此），我們在圖中添加一個(gè)面向批處理的大規(guī)模處理場。圖 3 下半部分顯示如何利用包括 Apache Hadoop 和 Apache Hadoop 分布式文件系統(tǒng) (HDFS) 在內(nèi)的一組組件來創(chuàng)建購買行為模型。傳統(tǒng)上，我們利用數(shù)據(jù)庫（或數(shù)據(jù)倉庫 [DW]）來實(shí)現(xiàn)這一目的�，F(xiàn)在我們還是這樣，但現(xiàn)在我們在數(shù)據(jù)庫/數(shù)據(jù)倉庫之前利用一個(gè)基礎(chǔ)架構(gòu)來跟蹤更多數(shù)據(jù)并不斷地重新評估所有數(shù)據(jù)。

圖 3. 創(chuàng)建購買行為模型

說一下數(shù)據(jù)源。一個(gè)重要元素是銷售點(diǎn) (POS) 數(shù)據(jù)（在關(guān)系數(shù)據(jù)庫中），您需要將其與客戶信息（來自網(wǎng)店、手機(jī)或會員卡）相關(guān)聯(lián)。圖 2 和圖 3 中包含客戶個(gè)人信息的 NoSQL 數(shù)據(jù)庫顯示網(wǎng)店元素。非常重要的是，要確保此多渠道數(shù)據(jù)與 Web 瀏覽、購買、搜索和社交媒體數(shù)據(jù)相集成（并且執(zhí)行重復(fù)數(shù)據(jù)刪除，但這是題外話）。

一旦完成數(shù)據(jù)關(guān)聯(lián)和數(shù)據(jù)集成，就可以描繪出個(gè)人的行為。本質(zhì)上，大數(shù)據(jù)使我們能夠在個(gè)人一級進(jìn)行極細(xì)微的細(xì)分 — 實(shí)際上是對數(shù)百萬客戶中的每一位！

這一切的最終目標(biāo)是構(gòu)建實(shí)時(shí)決策引擎中使用的高度精確的模型。此模型的目標(biāo)與上述業(yè)務(wù)目標(biāo)直接相關(guān)。換句話說，如何在客戶來到商城時(shí)向客戶發(fā)送優(yōu)惠券，讓客戶前往您的店鋪進(jìn)行消費(fèi)？

詳細(xì)的數(shù)據(jù)流和產(chǎn)品思路

現(xiàn)在，如何通過實(shí)際產(chǎn)品實(shí)現(xiàn)這一目標(biāo)，并且數(shù)據(jù)在此生態(tài)系統(tǒng)中如何流動？下面幾節(jié)為您指出答案。

第 1 步：收集數(shù)據(jù)

要查找數(shù)據(jù)、收集數(shù)據(jù)以及根據(jù)數(shù)據(jù)作出決策，您需要實(shí)現(xiàn)一個(gè)分布式系統(tǒng)。因?yàn)樵O(shè)備基本上在不停地發(fā)送數(shù)據(jù)，您需要能夠以較小的延遲加載數(shù)據(jù)（收集或獲取數(shù)據(jù)）。這項(xiàng)工作在收集點(diǎn)完成，如圖 4 所示。這里也是為實(shí)時(shí)決策而評估數(shù)據(jù)的位置。稍后我們再回到收集點(diǎn)。

圖 4. 收集點(diǎn)

來自收集點(diǎn)的數(shù)據(jù)流入 Hadoop 集群（在本例中，即大數(shù)據(jù)機(jī)）。您可能還會將其他數(shù)據(jù)提供給此設(shè)備。例如，圖 4 所示的社交信源將來自分擇相關(guān)哈希標(biāo)記的數(shù)據(jù)聚合者（通常是一家公司）。然后使用 Flume 或 Scribe 將數(shù)據(jù)加載到 Hadoop。

第 2 步：整理和移動數(shù)據(jù)

下一步是添加數(shù)據(jù)（社交信源、用戶個(gè)人信息和使結(jié)果與分析相關(guān)所需的任何其他數(shù)據(jù)）和開始整理、解釋和理解數(shù)據(jù)。

圖 5. 整理和解釋數(shù)據(jù)

例如，將用戶個(gè)人信息添加到社交信源和添加位置數(shù)據(jù)以建立對各用戶以及用戶相關(guān)模式的全面了解。通常，這使用 Apache Hadoop MapReduce 來完成。用戶個(gè)人信息通過 Hadoop InputFormat 接口從 Oracle NoSQL 數(shù)據(jù)庫批量加載，因此被添加到 MapReduce 數(shù)據(jù)集。

為了將所有這些與 POS 數(shù)據(jù)、客戶關(guān)系管理 (CRM) 數(shù)據(jù)以及各種其他交易數(shù)據(jù)結(jié)合，您可能會使用 Oracle Big Data Connectors 將精簡的數(shù)據(jù)高效地移動到 Oracle 數(shù)據(jù)庫。然后您可以使用 Oracle 商務(wù)智能云服務(wù)器 (Exalytics) 或業(yè)務(wù)智能 (BI) 工具或者（這是比較有趣的地方）通過數(shù)據(jù)挖掘之類的工具，對您所跟蹤的數(shù)據(jù)有一個(gè)全面的了解。

圖 6. 移動精簡數(shù)據(jù)

第 3 步：分析數(shù)據(jù)

最后一個(gè)階段（這里稱為“分析”）是創(chuàng)建數(shù)據(jù)挖掘模型和統(tǒng)計(jì)模型以便用于產(chǎn)生合適的優(yōu)惠券。這些模型真正是皇冠上的明珠，因?yàn)樗鼈冏屇�能夠基于非常精確的模型實(shí)時(shí)進(jìn)行決策。模型進(jìn)入收集點(diǎn)和決策點(diǎn)以作用于實(shí)時(shí)數(shù)據(jù)，如圖 7 所示。

圖 7. 分析數(shù)據(jù)

在圖 7 中，您可以看到專家引擎中使用了一個(gè)灰色的模型。該模型描述和預(yù)測客戶個(gè)人的行為并基于這些預(yù)測確定要采取的行動。

總結(jié)

以上所述是對“大數(shù)據(jù)”和實(shí)時(shí)決策的端到端觀察。大數(shù)據(jù)讓我們能夠利用海量的數(shù)據(jù)和處理資源得出精確的模型。它還讓我們能夠確定以前無法預(yù)期的種種事情，從而產(chǎn)生更精確的模型以及新思想、新業(yè)務(wù)等等。

您可以使用基于 Oracle 技術(shù)的 Oracle 大數(shù)據(jù)機(jī)實(shí)現(xiàn)在此所展示的整個(gè)解決方案。然后就只需找?guī)讉�(gè)了解編程模型的人即可創(chuàng)建這些皇冠上的明珠。