1 . 概要

    全世界每天都有幾十億人使用計算機、平板電腦、手機和其它數字設備產生海量數據。據Forrester的最新研究顯示：在線或移動金融交易、社交媒體、GPS坐標等數據源每天要產生超過2.5X1018的所謂“大數據”。今后幾年，數據的增長速度將超越摩爾定律。

    這些數據或“大數據”最近被譽為新的“金礦”，對于很多行業而言，如何利用這些大規模數據正成為贏得競爭的關鍵。基于以下原因，在所有行業中，電信運營商擁有明顯的優勢，而且能從這一演變中獲得最大收益：

    · 數量

    電信市場的滲透率通常很高（近100%）。作為一個壟斷行業，每個國家通常只有三或四家電信運營商（有些運營商擁有超過1億用戶），這意味著，運營商通常能夠接觸到大量客戶的數據。

    · 數據量

    客戶打電話、使用互聯網、發送消息或導航時，他們每一秒鐘都在產生數據。即便客戶只是將手機連接到運營商的網絡中，也會產生位置、移動速度、計費甚至生物計量等數據。而只有運營商才能采集到如此之多地與用戶行為有關的信息。

    · 多樣性

    最后，具有潛在價值的大量承接關系數據每天以客戶位置、設備交互、購買行為、在線狀態、社交地圖和人口統計數據的形式從運營商這里大量流走。因此，運營商具備了解客戶的潛力。

    我們相信，由于在大數據領域擁有上述優勢，電信運營商正處于一個他們從未能夠充分利用和賺取收入的“富礦”上。傳統而言，運營商數據中心中的大型業務支撐系統只是為了確保運營商能夠對其客戶所使用的服務計費。但是，隨著電信運營商的競爭格局不斷變化，谷歌、Skype等OTT服務提供商正在蠶食他們的收入。從他們的現有資產中獲益并提供良好的客戶體驗正成為一個關鍵的成功要素。被Ovum譽為“增長燃料”的數據是運營商最寶貴的資產之一，而且他們也越來越熱衷于更加充分地利用用戶數據。

    2. 什么是大數據

    大數據指的是超出傳統數據庫系統處理能力的數據。這些數據量太大，移動速度太快，或者與您的數據庫結構不匹配。為了能從這些數據獲益，你必須選擇另外一種方式來處理它們。

    大數據通常使用3個“V”來定義，Gartner對其的定義如下：

    “大數據是大數據量、高速度、種類繁多的信息資產，它們需要經濟有效和創新型處理方式來提升洞察力和決策水平。”

    · 數據量（Volume）： 企業系統內數據量的增加是由交易量以及其它傳統數據類型和新數據類型引發的。太大的數據量不僅在存儲方面，在大規模分析方面都會出現問題。

    · 速度（Velocity）：這涉及數據流、結構化記錄的創建以及數據的可訪問性和可交付性。速度既包括數據產生的速度，也包括滿足需求所需的數據處理速度。

    · 種類（Variety）： IT主管在將大量交易數據轉化為決策時總是遇到問題，而他們現在有更多類型的信息需要分析，這些信息主要來自社交媒體和移動領域（承接關系感知）。數據種類包括：表格數據（數據庫）、分層數據、文檔、電子郵件、計量數據、視頻、靜止圖像、音頻、股票報價機數據、金融交易數據等等。

    現實中的大數據應用通常涵蓋上述一或兩個“V”，但也有很多企業的大數據項目涵蓋所有三個“V”，這些項目通常涉及來自多個數據源、大量的流數據。

傳統數據和大數據之間的差異

 

    3. 電信網絡中的數據

    如前所述，全世界每天都有幾十億人使用計算機、平板電腦、手機和其它數字設備產生海量數據。這些數據通過運營商的網絡傳輸，但卻沒有得到充分利用和貨幣化。在我們講述數據貨幣化之前，讓我們首先看下運營商的數據：

    存在于運營商網絡中的數據（舉例）：

    通常，運營商數據中心中的大型業務支撐系統只是為了確保運營商能夠對其客戶所使用的服務計費。但是，在整合所有數據以及某些外部信息后，運營商確實將擁有每個用戶的詳細信息。

    隨著電信運營商的競爭格局不斷變化，谷歌、Skype等OTT服務提供商正在蠶食他們的收入。從他們的現有資產中獲益并提供良好的客戶體驗正成為一個關鍵的成功要素。被Ovum譽為“增長燃料”的數據是運營商最寶貴的資產之一，而且他們也越來越熱衷于更加充分地利用用戶數據。

    4. 電信數據的貨幣化

    電信行業在過去十年經歷了多次更新換代，但其主要戰略從未改變：

    - 優化資本支出

    - 降低運營支出

    - 開辟新的收入來源

    采用正確的大數據技術并實施一個有效的數據管理戰略，可幫助運營商獲得上述所有成功要素。

    大數據將促進整個電信價值鏈的增長，并提升其效率和盈利能力。以下各圖顯示了大數據相對于傳統數據倉庫技術的優勢。它們包括：

    · 開辟新的收入來源

    大數據項目與其說是IT項目，不如說是為了提升企業的盈利能力。運營商目前正處于一個過渡時期，他們既要提供高質量的傳統業務，也要投資開發諸如機器對機器、移動商務和企業云等將能提升盈利能力的新業務。大數據是實現這一過渡的重要前提之一。以下舉例列出了大數據所能開辟的一些新的收入來源：

     * “馱運”（Piggy back）業務：

    運營商可以采用打包銷售數據的方式為銀行、零售商和OTT服務提供商提供增值服務。

    * 定向廣告與營銷：

    通過提供綜合數據包，運營商可以幫助廣告客戶根據目標客戶的資料、位置和消費習慣更加有效地投放相關廣告。

    · 改善客戶體驗

    提高客戶忠誠度和降低客戶流失率是當今電信市場中的兩個關鍵問題。通過從數據資產中獲益，運營商能夠更好地了解客戶，并改善內部流程，例如，了解客戶的行為、所喜愛的內容、設備類型等等。同樣，人口統計和位置數據可幫助運營商做出有關部署網絡和銷售渠道的正確決定。此外，客戶關懷部門也可以利用這些數據預測某個客戶何時有可能流失，并采取相應措施。

近年來，Orange、Telefonica、Vodafone等歐洲大型運營商已開始利用數據分析技術來改進他們的管理決策。

 

    如上所述，“大數據”的重要性并非數據本身。事實上，我們已經擁有了大量數據。“大數據”是一個迅速增長的市場，包括捕獲、存儲、處理和分析運營商所擁有的海量數據，并從中獲益。下圖顯示了運營商大數據流程的價值鏈。

    大數據的最終目的是整合和關聯所有信息來源，以便生成一個完整、透明、全面的視圖，描述每個客戶或家庭與運營商之間的所有交互。

    但是，為了真正利用大數據，運營商必須徹底改變他們采集、驗證、了解和利用他們所擁有信息的方式。

    此外，運營商還需要學習谷歌、Facebook等公司；在這些公司中，數據為王，幾乎每一項產品決策都源于現有數據所透露的有關客戶的信息以及如何使用這些數據的方式。大數據戰略應涉及所有部門，包括網絡運營、IT、產品開發、營銷、財務等部門，甚至包括用戶，這是因為他們可以利用自身的專業知識，采用各種新方法分析數據。

    5. 大數據中的軟件技術

    大數據技術描述了新一代技術和架構，目的是通過高速捕獲、發現和/或分析，經濟高效地從種類繁多的大量數據中獲益。

    目前共有兩種頂層分析方法：

    1）. 分析過去，不預測未來（關聯分析）

    2）. 分析過去，預測未來（具備監督式學習功能的預測分析）。

    下圖描述了大數據中的主要軟件技術分類。這些分類中有很多正在開發的工具（既包括Apache旗下的開源工具，也包括各廠商開發的工具），這些工具可用于支持數據攝取、數據準備、數據庫編程、文本處理、分析可視化等工作。

 

    上圖描述了大數據中的軟件技術分類，并使用插圖提示顯示了每個分類中的廠商/產品。目前共有三種頂層的軟件技術分類：

   1） 流數據分析和復雜事件處理

    結構化數據從多個來源持續流出，以便對它們進行“線速”分析和關聯，而不是首先將它們存儲在某個數據庫中。ApacheStorm和IBMInfoSphereStreams等某些解決方案提供“表述編程設計”（declarative programming）框架，讓數據經歷轉換、加入、分割、開窗等一系列處理步驟。這種模式通常被稱為“復雜事件處理”（Complex Event Processing）。

    流數據分析的結果通常被存儲在一個數據庫（SQL或NoSQL）中，并能觸發其它事件。單位時間（例如1小時）內所處理的數據量通常以吉字節為單位，處理時延以毫秒為單位。關聯分析和預測分析均能以線速運行，但預測分析中通常僅評分部分以線速運行。流數據分析的范例包括股票預測、自動交易引擎、M2M/傳感器分析等。

  2） 數據庫

    目前主要有兩類數據庫，即SQL和NoSQL。SQL數據庫向RDBMS確認（即提供事務處理和引用完整性）。NoSQL數據庫提供各種表、schema和接口，但不提供事務處理和引用完整性，與SQL數據庫相比，它們的時延更小，吞吐量更大，數據存儲容量也更大。兩種數據庫均用于管理結構化數據。NoSQL數據庫既可以基于磁盤，也可以基于內存。內存數據庫以犧牲較大的磁盤容量來換取更小的內存時延。

3） Hadoop

    流數據分析和數據庫用于處理結構化數據，而Hadoop用于分析Web瀏覽日志、IT系統日志等半結構化數據以及社交網絡、Twitterfeed、圖像、音頻文件等非結構化數據。

    為了分析數據，Hadoop軟件在計算機集群上運行一系列“MapReduce”任務。給定計算機上的每一個Map任務負責在給定時間處理某個數據子集；給定計算機上的每一個Reduce任務負責編譯在預定義的計算機集群子集上運行的一組預定義的Map任務所產生的處理后的數據。下圖顯示了MapReduce任務的迭代過程。

    數據和結果與分布式計算機集群中的每臺計算機上的MapReduce任務共址。這些集體數據構成了一個Hadoop分布式文件系統（HDFS）。任何一個HadoopDistribution必須至少包含Hadoop集群軟件和HDFS。

    大數據分析技術的未來發展

    SQL的重新興起：

    很多傳媒大肆宣揚NoSQL是兼容RDBMS的SQL數據庫的“終結者”。但是，RDBMS可確保數據完整性，而這對于很多應用至關重要。因此，業內將來有可能搭建性能媲美當今NoSQL數據庫的RDBMS數據庫。

    Hadoop2.0：

    Hadoop將來有可能更多地被視為支持大型NoSQL數據庫的一個平臺，而不僅僅是一個批量分析引擎。在增添了流處理能力后（始于ApacheStorm），Hadoop也有可能用于實時分析。大多數大數據廠商依賴于Hadoop的未來成功，因此，我們可能會看到在此方面的投入（如與Hadoop的RESTful接口，集成Node.js等）。

    6. 結語

    大數據為電信運營商提供了一個更加全面了解其業務和客戶、進一步加大創新力度的真正機遇。以研發投入占銷售收入的比例計算，整個電信行業的研發投入遠低于任何一個技術型行業，而其改變運營方式的努力也尚未取得廣泛的成功。大數據要求各個行業采用一種完全不同的非傳統方法來拓展業務。如果運營商能夠以最快速度將全新靈活的戰略整合到企業核心業務之中，就將獲得真正的競爭優勢，從而戰勝行動較為遲緩的對手。