作者：Martin P Doyle

為了能夠系統化地、高效地解決出現的任何問題，我們必須學會將這些問題分而治之。畢竟，知己知彼方是解決問題的首重至要。由此，我們才會發現解決之道就在其中。而對于提高數據質量同樣適用：每一個解決問題的方法都有不同的階段與角度。

當一個數據質量改進程序在啟動時，僅知道數據庫中有多少錯誤計算或重復錄入是遠遠不夠的。不止于此，我們還需要知道不同類型的錯誤在收集的資源中是如何分配的。

據 Jim barker 一篇很有意思的博客所述，數據的質量被分解成兩種不同類型。而在本文中，我會帶領大家仔細區分這些“類型”有何不同，并且如何利用這些“類型”在開發預算中確保我們的優勢資源放在何處。

數據類型

被譽為“數據博士”的Jim barker，借用了一個簡單的醫學概念來定義數據質量問題。?在他的博客中介紹了如何將這兩種“類型”組合在一起，并且成功激發了那些一直糾結于找到在數據庫中拉低數據質量的幺蛾子的數據分析師們的興趣。

I型數據質量問題我們可以使用自動化工具檢測到。II型數據質量問題就非常隱秘了。大家都知道它是存在的，但它看不見摸不著，更處理不了，因為它需要放在特殊情境才能被檢測到。

它們之間的區別簡而言之可歸納為如下幾點：

I型數據質量問題首先需要“知其然”才能來檢測數據的完整性、一致性、唯一性和有效性。這些屬性靠數據質量軟件甚至手動很好地找到。你不需要有很多的背景知識，或者數據分析經驗。只要按照4個屬性驗證它的存在，就可以判定它錯誤的。例如，如果我們在性別領域插入一個3，我們就可以判定它到底是不是一個有效值。

II型數據質量問題需要“知其所以然”來檢測時效性、一致性和準確性屬性。需要研究能力、洞察力和經驗，而不是簡簡單單就可以找得出來的。這些數據集經常從表面上看起來沒有問題。但幺蛾子往往存在于細節中，需要時間去發現。Jim舉的例子就是一份退休人員的雇傭記錄。如果我們不知道他們早已退休的話，是看不出來這個數據是錯的。

所以，解決這些數據質量問題的關鍵就是需要一個復雜的、戰略化的方法，而非孤立的、片面的來看問題。一旦數據質量不好，我們就需要尋求自動化與人工的方式才能解決這個問題了，真可謂是“屋漏偏逢連夜雨”啊。

成本調整

所以，我們如何解決I型和II型數據質量問題呢？處理它們所花費的費用是可比的，還是完全不同的？

要記住重要的一點是，I型數據的驗證問題可以在邏輯上定義，這意味著我們可以靠編寫軟件來查找并顯示它。軟件自動修復的速度快、成本低，甚至配合手動審查就可以完成。考慮到I型數據質量問題實際上是作為表格內字段型的驗證，一旦解決了表格字段的問題，I型數據質量問題實際上也就解決了。

根據我們以往的經驗：I型數據基本涵蓋了80%的數據質量問題，但消耗了我們20%的經費成本。

第二類數據問題往往需要多方的輸入，以便發現、標記和根除。雖然我們客戶關系管理系統中的每個人都有購買日期，但購買日期可能不正確，或者與發票或發貨清單不符。只有專家才能通過仔細核查其內容來解決問題并手動改進客戶關系管理系統。

通常情況下，企業很難做到資源的合理分配，原因有二，特別是企業處于快速增長階段；或者處于人才流失的時候。你別看這些II類問題較少，可能僅占數據問題剩余的20%，但它們很有可能需要消耗超過80%的成本預算。所以，如果當企業處于人才大量流失，卻又對此無能為力的時候。你會發現第二類數據問題更難處理，因為人工解決的途徑已不復存在了。

為了提高數據的準確性，我們必須將I型和II型數據問題作為單獨的，但同時存在的問題進行研究。I類型數據質量的挑戰可以呈現快速獲勝，但第II類問題提出了一個挑戰，必須依靠人類的專業知識才可以解決。

隨著時間的推移，數據庫會超過使用期限。為保其時效性，這需要持續不斷的努力。數據可以在數據庫中進行清洗，或在使用階段進行清理，但由于如導入/導出、損壞、手動編輯、人為導致錯誤等多種原因，仍然要注意I型錯誤的發生。第II類數據問題在這階段自然而然地發生，因為就算數據經過驗證和審查之后看起來正確，但對于現在來說仍有可能是不正確的，因為此時已非彼時，數據的使用環境改變了。

數據的完整會有助于我們觀察整個事物的全貌并推動其對事物的決策。正如我們前面所說，發現I型數據質量問題是比較簡單、廉價和快速的。但如果企業的工作業務還沒有采用某種數據質量軟件來解決I型數據質量問題的話，那現在也應該著手考慮了，因為這樣才可能避免將來出現的資源浪費、損害品牌效應和來自大眾的誤解。

而對于第II類數據問題，關鍵是要理解它為什么會發生，并采取措施以防止它的發生。從日常工作中，處事的變通以及員工疏忽常導致數據的質量不佳。隨著時間的推移，資源分配失當也會增加II型數據問題的增加。而改善它的費用也會成倍增加，因為你需要具備專家的眼光方能在茫茫的數據中找到它的存在。

其實，發現并解決這兩類問題在當下已不是不可能的事了。會變得越來越容易。很多數據質量供應商們也在不斷尋找新的方法，相信在不遠的將來，得到高質量的數據會變得越來輕松，越來越簡單。

End.

轉載請注明來自36大數據（36dsj.com)： 36大數據 ? 要做數據分析，首先解決這兩類數據質量問題