我們對數(shù)據(jù)資產(chǎn)梳理和盤點(diǎn)的方法、流程、模板進(jìn)行了介紹，相信大家對數(shù)據(jù)資產(chǎn)盤點(diǎn)應(yīng)該有所了解了。可能有人會問，數(shù)據(jù)資產(chǎn)盤點(diǎn)都是人工在做，有沒有更智能的方法，能夠自動盤點(diǎn)數(shù)據(jù)，讓數(shù)據(jù)更容易查找和使用？

　　數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)，是什么？

　　數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)是一個可視化、智能化的數(shù)據(jù)管理工具，它的定位是使業(yè)務(wù)和技術(shù)人員能夠在需要時更容易找到、理解和使用他們想要的數(shù)據(jù)。

　　這個概念是不是似曾相識？是的，數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)與數(shù)據(jù)資產(chǎn)目錄在定位上很相似，從本質(zhì)上講，數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)就是一種更智能的數(shù)據(jù)資產(chǎn)目錄工具。如果我們將大數(shù)據(jù)比作石油的話，數(shù)據(jù)發(fā)現(xiàn)就是勘探、采集、處理和煉化石油的過程，它能夠更加自動化的識別數(shù)據(jù)資產(chǎn)，對數(shù)據(jù)進(jìn)行遷移、清洗、標(biāo)記、編目和可視化，從而最大化的釋放數(shù)據(jù)價值。

　　通常來講，數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)具備如下能力：

　　1、多數(shù)據(jù)源連接

　　數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)可以連接多個數(shù)據(jù)源，實(shí)現(xiàn)數(shù)據(jù)的可視化、集成和遷移。支持的數(shù)據(jù)源除了結(jié)構(gòu)化數(shù)據(jù)，還能夠?qū)Ψ墙Y(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)的關(guān)鍵元數(shù)據(jù)進(jìn)行識別和采集。

　　2、元數(shù)據(jù)分析

　　對元數(shù)據(jù)信息進(jìn)行統(tǒng)計分析，可視化展示數(shù)據(jù)源的元數(shù)據(jù)，包括數(shù)據(jù)表的大小、注釋、列數(shù)量、時間列數(shù)量、主鍵數(shù)量等信息，更細(xì)一步地，還統(tǒng)計了列級別的元數(shù)據(jù)，包括列注釋、字段類型、列長度、是否主鍵列等信息。

　　3、數(shù)據(jù)分類和編目

　　數(shù)據(jù)發(fā)現(xiàn)與數(shù)據(jù)分類密切相關(guān)，通過自然語言處理、語義解析，根據(jù)數(shù)據(jù)的有用性、敏感性或安全性要求進(jìn)行識別、分類和編目，形成業(yè)務(wù)、技術(shù)多個視角能夠識別、查詢和瀏覽的數(shù)據(jù)資產(chǎn)目錄。

　　4、清理和準(zhǔn)備數(shù)據(jù)

　　有了數(shù)據(jù)目錄，用戶就可以輕松找到想要的數(shù)據(jù)。但是找到了數(shù)據(jù)，不一定就意味著它能直接使用，因?yàn)檫@些數(shù)據(jù)往往還存在很多的質(zhì)量問題，必須要對這些數(shù)據(jù)作進(jìn)一步的清理。數(shù)據(jù)發(fā)現(xiàn)工具一般具備自助數(shù)據(jù)準(zhǔn)備和自動進(jìn)行數(shù)據(jù)清理功能，提供有關(guān)值域范圍、異常值、錯誤值和其他數(shù)據(jù)屬性和問題的檢查和處理，為數(shù)據(jù)共享和分析提供支撐。

　　5、數(shù)據(jù)探索

　　數(shù)據(jù)探索是幫助業(yè)務(wù)人員整合來自各種來源的數(shù)據(jù)，以了解數(shù)據(jù)結(jié)構(gòu)并構(gòu)建交互式可視化來解釋該數(shù)據(jù)。在數(shù)據(jù)探索中，用戶通過使用人工智能技術(shù)，來查看自各種來源的數(shù)據(jù)，并嘗試從這些數(shù)據(jù)中提取重要或有意義的信息。數(shù)據(jù)發(fā)現(xiàn)工具使用熱圖、數(shù)據(jù)透視表、餅圖、條形圖和地理地圖等多種方法來幫助用戶從數(shù)據(jù)中獲得洞察力，從而實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。

　　數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)，發(fā)現(xiàn)什么？

　　很多企業(yè)數(shù)據(jù)資產(chǎn)管理的最大痛點(diǎn)就是數(shù)據(jù)分散，企業(yè)不知道自己有哪些數(shù)據(jù)可用。企業(yè)數(shù)據(jù)大部分分散在不同的系統(tǒng)、不同的數(shù)據(jù)源和不同的設(shè)備中，識別、分類、處理和分析數(shù)據(jù)，并從中獲得洞察力對任何企業(yè)都至關(guān)重要。

　　那么，數(shù)據(jù)發(fā)現(xiàn)到底能夠發(fā)現(xiàn)什么？

　　數(shù)據(jù)的位置：數(shù)據(jù)發(fā)現(xiàn)通過連接數(shù)據(jù)源、采集和分析元數(shù)據(jù)，能夠識別企業(yè)有哪些數(shù)據(jù)，并定位這些數(shù)據(jù)在哪里存放，誰可以訪問它。

　　數(shù)據(jù)的結(jié)構(gòu)：數(shù)據(jù)發(fā)現(xiàn)可以自動解析數(shù)據(jù)的結(jié)構(gòu)，包括對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的的數(shù)據(jù)特征提取，通過統(tǒng)計模型對數(shù)據(jù)進(jìn)行分類。

　　數(shù)據(jù)的傳輸：數(shù)據(jù)發(fā)現(xiàn)捕獲數(shù)據(jù)的流向，了解傳輸哪些數(shù)據(jù)、如何傳輸以及通過哪些渠道傳輸。

　　敏感的數(shù)據(jù)：數(shù)據(jù)發(fā)現(xiàn)通過內(nèi)置的數(shù)據(jù)口徑、標(biāo)準(zhǔn)和規(guī)則，可以自動識別數(shù)據(jù)的技術(shù)屬性和業(yè)務(wù)屬性，可以快速對身份證號碼，姓名，地址，手機(jī)號、銀行賬號等敏感信息進(jìn)行識別、分類和跟蹤，方便評估安全或隱私風(fēng)險并定義緩解策略。

　　數(shù)據(jù)的問題：數(shù)據(jù)發(fā)現(xiàn)通過數(shù)據(jù)質(zhì)量檢核，可以對數(shù)據(jù)集中的數(shù)據(jù)值域范圍、異常值、錯誤值、重復(fù)數(shù)據(jù)等數(shù)據(jù)問題進(jìn)行稽核，快速發(fā)現(xiàn)數(shù)據(jù)集中的問題數(shù)據(jù)，并執(zhí)行數(shù)據(jù)清理，以提高數(shù)據(jù)質(zhì)量。

　　數(shù)據(jù)的含義：數(shù)據(jù)發(fā)現(xiàn)通過豐富的圖表，通過可視化的方式展示數(shù)據(jù)資產(chǎn)地圖，直觀清晰的展現(xiàn)數(shù)據(jù)富含的意義、用途等，使得用戶可以快速的了解數(shù)據(jù)，并從數(shù)據(jù)中獲得洞察力。

　　數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)，怎么發(fā)現(xiàn)？

　　當(dāng)下，數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)主要有兩種形式：手動發(fā)現(xiàn)和智能發(fā)現(xiàn)。

　　1、手動數(shù)據(jù)發(fā)現(xiàn)

　　在過去 20 年里，在機(jī)器學(xué)習(xí)進(jìn)步之前，數(shù)據(jù)相關(guān)工作人員對數(shù)據(jù)的相關(guān)作業(yè)，如：發(fā)現(xiàn)數(shù)據(jù)、采集數(shù)據(jù)、處理數(shù)據(jù)、分析數(shù)據(jù)等，大部分需要依靠人類的腦力和體力。簡單地說，人們通過人為的方式，識別和記憶關(guān)于哪些數(shù)據(jù)可用，存儲在哪里，為什么需要，以及為最終用戶提供帶來什么價值。

　　后來，企業(yè)開始有意識的管理數(shù)據(jù)，通過監(jiān)控元數(shù)據(jù)和數(shù)據(jù)血緣，發(fā)現(xiàn)并了解數(shù)據(jù)分類和流程。數(shù)據(jù)管理員，通常是具有復(fù)雜技術(shù)和知識的人才能勝任，負(fù)責(zé)企業(yè)數(shù)據(jù)資產(chǎn)的盤點(diǎn)和管理，基于一定業(yè)務(wù)規(guī)則對數(shù)據(jù)資產(chǎn)進(jìn)行分類和編目。在這一過程，數(shù)據(jù)管理員通過手動的方式建立數(shù)據(jù)目錄、繪制數(shù)據(jù)地圖，以理解企業(yè)中的數(shù)據(jù)資產(chǎn)。而這一方式，一直沿用至今。

　　2、智能數(shù)據(jù)發(fā)現(xiàn)

　　大數(shù)據(jù)時代，數(shù)據(jù)呈爆炸式增長，且數(shù)據(jù)在企業(yè)業(yè)務(wù)發(fā)展的過程中，扮演的角色越來越重要。傳統(tǒng)手動發(fā)現(xiàn)數(shù)據(jù)的方式，在應(yīng)對企業(yè)的數(shù)據(jù)管理和使用需求，以及大規(guī)模、多樣化的數(shù)據(jù)增長情況下，顯得越來越吃力。因此，企業(yè)迫切需要一種更加自動化、智能化的數(shù)據(jù)發(fā)現(xiàn)工具，來幫助企業(yè)從數(shù)據(jù)中獲得更深入的洞察力。

　　隨著技術(shù)的進(jìn)步，智能數(shù)據(jù)發(fā)現(xiàn)工具逐步成熟了起來。智能數(shù)據(jù)發(fā)現(xiàn)主要使用增強(qiáng)分析、自然語言處理、機(jī)器學(xué)習(xí)等人工智能技術(shù)，對數(shù)據(jù)進(jìn)行定位、探查、清理、集成和可視化，來呈現(xiàn)和洞察數(shù)據(jù)價值。智能數(shù)據(jù)發(fā)現(xiàn)是一個飛躍，通過對可用數(shù)據(jù)源的整體理解和分析，在黑匣子中進(jìn)行一些處理并得出合理答案。

　　有了AI的加持，數(shù)據(jù)發(fā)現(xiàn)有了令人興奮的創(chuàng)新方向：

　　AI 技術(shù)可用于數(shù)據(jù)準(zhǔn)備，例如：標(biāo)準(zhǔn)化數(shù)據(jù)、處理缺失數(shù)據(jù)、字符串模式識別等。

　　算法可用于識別和關(guān)注相關(guān)變量組數(shù)據(jù)中的特定模式或異常值。

　　時間序列分析對模式識別、異常值檢測和表關(guān)系發(fā)現(xiàn)具有不同的需求和意義。

　　可以收集、分析專家用戶的行為數(shù)據(jù)，并用于影響推薦的分析操作。

　　對此，也有一些專家認(rèn)為數(shù)據(jù)發(fā)現(xiàn)類似于數(shù)據(jù)挖掘，這是一些公司用來嘗試從大型數(shù)據(jù)集中提取可操作數(shù)據(jù)的過程。在某些方面，數(shù)據(jù)發(fā)現(xiàn)也可以通過與電子發(fā)現(xiàn)（e-discovery）的相似性來解釋；例如，在涉及法律領(lǐng)域的電子發(fā)現(xiàn)中，指定的 IT 專業(yè)人員從可能適用于案件相關(guān)的大型數(shù)據(jù)集中提取數(shù)據(jù)，輔助辦案。數(shù)據(jù)發(fā)現(xiàn)采用了類似的方法——從大量數(shù)據(jù)中篩選出相關(guān)且可操作的數(shù)據(jù)項(xiàng)。可能有人會問：有了智能數(shù)據(jù)發(fā)現(xiàn)還需要手動數(shù)據(jù)發(fā)現(xiàn)嗎？個人認(rèn)為，現(xiàn)階段大部分的數(shù)據(jù)發(fā)現(xiàn)還需要人工手動干預(yù)，而基于機(jī)器學(xué)習(xí)等人工智能技術(shù)的利用可以幫助改進(jìn)數(shù)據(jù)發(fā)現(xiàn)過程，例如自動發(fā)現(xiàn)數(shù)據(jù)中的數(shù)據(jù)質(zhì)量問題、法規(guī)遵從性問題等，而數(shù)據(jù)結(jié)果還是需要人為決策。

　　數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)，解決哪些問題？數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)也叫自助式數(shù)據(jù)探查和分析，從定位上講，是服務(wù)于業(yè)務(wù)人員，幫助業(yè)務(wù)人員從數(shù)據(jù)中獲得有價值的信息，這些信息可幫助用戶在競爭對手之前發(fā)現(xiàn)寶貴的機(jī)會，而無需咨詢 IT 部門，使得數(shù)據(jù)分析和使用變得“平民化”。可視化的數(shù)據(jù)呈現(xiàn)，提高了數(shù)據(jù)的可操作性，讓業(yè)務(wù)人員能夠更快地找到答案。數(shù)據(jù)發(fā)現(xiàn)為企業(yè)提供了一種易于理解、清洗和分析數(shù)據(jù)的友好方法，使用戶可以輕松深入研究變量并提出新的問題和見解。1、識別數(shù)據(jù)應(yīng)用中的痛點(diǎn)每個企業(yè)的數(shù)據(jù)管理和應(yīng)用都會有獨(dú)特的痛點(diǎn)和問題，例如自多個來源的大量數(shù)據(jù)、復(fù)雜的架構(gòu)、數(shù)據(jù)安全和法規(guī)遵從性等，所有這些都應(yīng)該得到解決和持續(xù)監(jiān)控。盡可能多地提前識別這些問題，可以幫助企業(yè)在問題升級之前解決問題并確保企業(yè)的數(shù)據(jù)保持安全。2、使用多樣化的數(shù)據(jù)源如果企業(yè)可以從多個來源收集和使用數(shù)據(jù)，那就預(yù)示著企業(yè)可以從中獲得更加深入的見解。但是，值得注意的是，企業(yè)需要正確處理和使用數(shù)據(jù)，確保數(shù)據(jù)完整性、數(shù)據(jù)質(zhì)量和個人隱私保護(hù)。數(shù)據(jù)發(fā)現(xiàn)有助于企業(yè)從不同數(shù)據(jù)源中收集、清理相關(guān)數(shù)據(jù)，這些數(shù)據(jù)可以提供大量可操作的信息。3、用企業(yè)的數(shù)據(jù)講故事數(shù)據(jù)發(fā)現(xiàn)為業(yè)務(wù)用戶提供了自助式數(shù)據(jù)分析和探索的能力，以可視化的方式進(jìn)行數(shù)據(jù)呈現(xiàn)，形成業(yè)務(wù)人員更容易理解的故事板。直觀、可視化的“數(shù)據(jù)故事板”可以幫助人們理解信息，以及從中得到有價值信息，幫助用戶進(jìn)行決策。例如：數(shù)據(jù)發(fā)現(xiàn)通過對企業(yè)多渠道中的客戶行為、交易和情緒數(shù)據(jù)的分析和評估，來獲取客戶的 360 度視圖，在客戶流失之前進(jìn)行預(yù)警，從而輔助決策人員作出應(yīng)對策略。

　　數(shù)據(jù)發(fā)現(xiàn)工具，怎么選？

      在國外一個數(shù)據(jù)管理工具評價網(wǎng)站顯示，2022年 9個最流行的數(shù)據(jù)發(fā)現(xiàn)工具有：

　　JMP Statistical Discovery

　　Looker

　　Microsoft Power BI

　　Phocas

　　Qlik Sense

　　Spirion

　　Tableau

　　TIBCO Spotfire

　　Atlan

　　你有沒有發(fā)現(xiàn)以上數(shù)據(jù)發(fā)現(xiàn)工具其實(shí)側(cè)重點(diǎn)并不相同，有側(cè)重數(shù)據(jù)管理的，也有側(cè)重數(shù)據(jù)分析的。例如：JMP Statistical Discovery——SAS公司的數(shù)據(jù)管理產(chǎn)品，是側(cè)重跨數(shù)據(jù)源數(shù)據(jù)采集、自助數(shù)據(jù)準(zhǔn)備和自動進(jìn)行數(shù)據(jù)清理。而Google Cloud的Looker，微軟的Power BI，以及Salesforce的Tableau則更側(cè)重自助式的數(shù)據(jù)可視化能力。那么，一個數(shù)據(jù)發(fā)現(xiàn)工具到底都應(yīng)該包含哪些通用功能，企業(yè)選型應(yīng)重點(diǎn)關(guān)注哪些方面呢？通過對以上工具的研究，筆者發(fā)現(xiàn)一個完善的數(shù)據(jù)發(fā)現(xiàn)工具，需要具備以下功能：

　　數(shù)據(jù)源連接和元數(shù)據(jù)采集，包括：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等數(shù)據(jù)源

　　元數(shù)據(jù)管理和數(shù)據(jù)血緣，識別和解析數(shù)據(jù)的位置、含義等

　　全文元數(shù)據(jù)搜索，幫助用戶快速定位和查找數(shù)據(jù)

　　敏感信息識別、分類和監(jiān)控，這對于滿足合規(guī)性要求非常重要

　　數(shù)據(jù)準(zhǔn)備和提高數(shù)據(jù)質(zhì)量的工具

　　機(jī)器學(xué)習(xí)能力，包括預(yù)測分析

　　內(nèi)存分析，實(shí)現(xiàn)更快的查詢響應(yīng)時間

　　數(shù)據(jù)分析和可視化（圖表、地圖、表格以及其他形式）

　　版本控制，確保數(shù)據(jù)的完整性并防止意外數(shù)據(jù)丟失

　　除了以上基本功能之外，在數(shù)據(jù)發(fā)現(xiàn)工具中首先要考慮的是數(shù)據(jù)治理，企業(yè)的數(shù)據(jù)環(huán)境中可能有上百套系統(tǒng)，成千名用戶在創(chuàng)建數(shù)據(jù)，企業(yè)必須確保這些數(shù)據(jù)能夠自動化的集中式治理。其次，數(shù)據(jù)安全和隱私也是需要重點(diǎn)關(guān)注的方面，數(shù)據(jù)發(fā)現(xiàn)平臺需要提供一定的安全機(jī)制，如：用戶認(rèn)證、訪問控制、數(shù)據(jù)脫敏、數(shù)據(jù)加密等，確保數(shù)據(jù)安全和合規(guī)使用。