當(dāng)有大企業(yè)為數(shù)據(jù)進(jìn)行爭(zhēng)論時(shí)，我們?cè)僖淮胃锌當(dāng)?shù)據(jù)的價(jià)值。自從大數(shù)據(jù)一詞被提出之后，我們無(wú)時(shí)無(wú)刻不再提醒著自己，累積了越多的數(shù)據(jù)，就越能手握金礦。在機(jī)器學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)開(kāi)始走向大眾視野之后，我們更加自豪，仿佛分分鐘能從自己的數(shù)據(jù)中誕生個(gè)什么算法。

事實(shí)上，針對(duì)于機(jī)器學(xué)習(xí)應(yīng)用范疇看來(lái)，絕大部分企業(yè)所謂的大數(shù)據(jù)，都只是一大堆占據(jù)著儲(chǔ)存空間的垃圾。

因?yàn)椋@些大數(shù)據(jù)都是未經(jīng)清洗、處理過(guò)的臟數(shù)據(jù)，完全不足以用來(lái)訓(xùn)練算法模型。

今天就來(lái)談?wù)剻C(jī)器學(xué)習(xí)這一高級(jí)產(chǎn)業(yè)中的“苦力工種”——數(shù)據(jù)預(yù)處理。

拋開(kāi)盲目崇拜，我們其實(shí)知道，機(jī)器學(xué)習(xí)對(duì)于數(shù)據(jù)的依賴(lài)非常之深，同時(shí)對(duì)數(shù)據(jù)的要求也很高。和數(shù)據(jù)庫(kù)中的數(shù)據(jù)不同，現(xiàn)實(shí)生活中我們采集到的數(shù)據(jù)往往存在大量人為造成的異常和缺失，非常不利于算法模型的訓(xùn)練。

而對(duì)于數(shù)據(jù)的清洗、特征標(biāo)注等等，往往占據(jù)了一個(gè)項(xiàng)目七成的時(shí)間。

在分析了項(xiàng)目的具體需求之后，第一步就是數(shù)據(jù)的清洗。

數(shù)據(jù)清洗包含多種步驟，比如對(duì)異常值的處理、對(duì)缺失數(shù)據(jù)的處理和對(duì)重復(fù)數(shù)據(jù)的處理等等。

常用的辦法是將數(shù)據(jù)制成直方圖、點(diǎn)圖、箱型圖、Q-Q圖等等，從其中可以直觀的發(fā)現(xiàn)需要清理的數(shù)據(jù)。

如圖所示，遠(yuǎn)離群體的數(shù)據(jù)均為需要清理的數(shù)據(jù)。當(dāng)然，清理也不一定是刪除，可以根據(jù)實(shí)際情況選擇用平均值替代甚至不處理等等。

在經(jīng)歷了痛苦的去異常、去缺失、去重復(fù)、降噪音之后，我們得到的僅僅是一份沒(méi)有明顯錯(cuò)誤的原始數(shù)據(jù)。還要經(jīng)歷數(shù)據(jù)轉(zhuǎn)換、降維等等方式讓數(shù)據(jù)標(biāo)準(zhǔn)化，只保留我們所需要的維度。這樣一來(lái)才可以進(jìn)一步降低噪音，去除無(wú)關(guān)特征帶來(lái)的巨大計(jì)算量。

以上的步驟可以運(yùn)用于任何數(shù)據(jù)之上，像是在NLP中就要提取波形文件，去掉連接詞、分詞等等。至于在人臉識(shí)別中，則是將每個(gè)人的名字和對(duì)應(yīng)的照片標(biāo)注歸類(lèi)，去掉混亂度較高的人。再提取圖片向量，一個(gè)人照片中向量的平均值即是他的特征。

總之，數(shù)據(jù)預(yù)處理工作的難度不大，但卻能把人折騰得欲仙欲死。

這也是為什么Apollo這樣的平臺(tái)會(huì)為人工智能創(chuàng)業(yè)者提供數(shù)據(jù)庫(kù)，畢竟對(duì)于大多數(shù)中小企業(yè)來(lái)講，獲取數(shù)據(jù)雖然簡(jiǎn)單，對(duì)于數(shù)據(jù)的預(yù)處理卻是幾乎不可能完成的任務(wù)。而以谷歌、百度等為代表的大企業(yè)，擁有足夠的人力和算力，能夠?qū)⒆约旱臄?shù)據(jù)妥善處理，甚至開(kāi)放組建生態(tài)力量。

除去與巨頭共舞，另外的選擇就是購(gòu)買(mǎi)第三方提供的數(shù)據(jù)庫(kù)，可最大的問(wèn)題就是數(shù)據(jù)的真實(shí)性和實(shí)用性。糟糕數(shù)據(jù)庫(kù)帶來(lái)的結(jié)果，往往是算法在數(shù)據(jù)庫(kù)內(nèi)跑得風(fēng)生水起，一落地應(yīng)用就漏洞百出。而在資本的揠苗助長(zhǎng)下，大多數(shù)人都忙著鼓吹自己的算法模型而忽略了數(shù)據(jù)源頭問(wèn)題，最終就是將萬(wàn)丈高樓建立在沙地之上。

面對(duì)這種情況，最苦惱的就是那些還算不上BAT級(jí)別，但又有了足夠規(guī)模的互聯(lián)網(wǎng)企業(yè)：他們擁有了足夠多的數(shù)據(jù)，不屑于拿所謂的算法作為融資噱頭，而是真的想通過(guò)機(jī)器學(xué)習(xí)提升自身業(yè)務(wù)。可面對(duì)復(fù)雜的數(shù)據(jù)預(yù)處理工作，他們需要付出極大的人力成本。要是說(shuō)邀請(qǐng)第三方為其處理，恐怕又不放心自身數(shù)據(jù)的安全。

而這一切，不正是商機(jī)所在嗎？

在今年三月的谷歌云開(kāi)發(fā)者大會(huì)上，谷歌就發(fā)布了一項(xiàng)新服務(wù)—— Google Cloud Dataprep。它可以自動(dòng)檢索出數(shù)據(jù)中的異常值，用戶(hù)只要給出數(shù)據(jù)清理規(guī)則，整個(gè)過(guò)程中都不需要人工寫(xiě)代碼來(lái)干預(yù)。所以，用戶(hù)既可以簡(jiǎn)單的完成數(shù)據(jù)清理，又能很大程度上保證數(shù)據(jù)安全。

數(shù)據(jù)的預(yù)處理的確是機(jī)器學(xué)習(xí)中的“臟活累活”，但這不代表不能用技術(shù)的力量提高這部分工作的效率。相比遙遙無(wú)期的人工智能，有關(guān)數(shù)據(jù)預(yù)處理的需求已經(jīng)擺在了我們面前，并且每天都在擴(kuò)大。而專(zhuān)注于數(shù)據(jù)預(yù)處理垂直領(lǐng)域的技術(shù)服務(wù)商卻寥寥無(wú)幾。

所以，與其在NLP、自動(dòng)駕駛的紅海中被巨頭碾壓，不如換個(gè)角度，從現(xiàn)在就開(kāi)始想辦法服務(wù)那些渴望人工智能的企業(yè)。