大數據，一個現今人人都在討論的火爆話題。大數據是什么？怎么做大數據？大數據到底可以帶來什么樣的價值？相信不同企業、個人對其都有著不同的看法和理解，但是歸根結底，大數據最終是需要服務于具體的業務，解決實際業務問題，甚至幫助創造新的業務模式。

在企業級大數據領域，明略數據在過去幾年服務客戶的過程中，創造性地引入大數據+知識圖譜的思路，開發了一款名為SCOPA的大數據知識圖譜產品，并且在公安、金融等多個領域取得了良好的實踐效果。

本分享將系統地介紹SCOPA產品的設計理念、總體功能以及核心技術優勢，并闡述SCOPA產品如何應對客戶的具體應用場景以及圍繞SCOPA如何打造先進的大數據整體解決方案。

▌ 明略數據技術合伙人黃樺分享了以下內容：

1， 企業 級大數據簡析；

2，構建大數據知識圖譜產品；

? 知識圖譜是什么？

? 一個簡單的工商企業的知識圖譜；

? 如何落地知識圖譜產品？

? 圖數據庫及其選型；

3，應用淺談。

▌ 人物名片：

黃樺， 明略數據技術合伙人，四年大數據領域從業經驗，大數據技術和大數據產品開發的深度實踐者。2014年作為早期員工加入明略數據，先后落地實踐多個金融、公安等領域的大數據項目，積累了豐富的企業級大數據產品開發和項目落地的經驗。目前是明略數據技術合伙人，帶領團隊負責SCOPA產品的關系規則引擎的研發及相關應用的實踐，成功幫助多位企業客戶構建了億級實體、幾十億級關系的知識圖譜網絡。在加入明略之前，擔任Paypal中國風險管理部門(Risk Management)的高級分析師，從事大數據量化分析和支付反欺詐風險模型建模等工作。在PayPal工作之前，在2012年于加拿大Simon Fraser 大學取得計算機碩士學位，2009年于北京郵電大學取得通訊工程本科學位。

▌ 以下為現場視頻：

?

▌ 以下為現場采訪：

InfoQ：各位InfoQ網友大家好！現在我們是在ArchSummit深圳大會的現場，作客我們現場的是明略數據技術合伙人黃樺。從最開始的語義網等概念，到現在的知識圖譜，您覺得為什么現在知識圖譜的概念能夠火起來？

黃樺： 語義網是一個宏觀的概念，想把網絡上的東西、電腦、手機更多的連起來，讓他們互相能夠認知到、能夠識別，當初設計非常復雜，貌似也有個協議，跟網絡通信協議類似，但是很難落地，只是有它的概念。但是知識圖譜不一樣，比較簡單，就是點邊屬性這樣的三維屬性的圖譜，所以可以落地。再加上這個數據越來越大，大數據時代，總量比較多，數據類別也比較多，這個時候非常自然想到，這么多數據以后如果還是孤立的看數據源，產生價值，實際上是線性累加的過程，把孤立的串在一起創造的價值可能是更大的效果。

InfoQ：您所了解的業界現在知識圖譜的落地應用有哪些？

黃樺： 落地應用挺多的，我們認識當中最早是在互聯網搜索里面，讀書的時候實習，微軟亞洲研究院做了一個人立方，人立方是一個搜索引擎，剛開始落地的時候找的是學術圈發表論文的數據，跟學校之間的關系找到，把作者跟作者之間一起合作論文的關系刻劃出來，然后帶出來相關領域的合作者。最早的知識圖譜是這樣。慢慢的，谷歌在2012年、2013年放到他自己的算法里，增強他搜索的性能和準確度，慢慢的國內百度也在用，也是把圖譜放到搜索里提高搜索的準確性。企業用的還是不多，剛剛開始興起，我們公司算是比較前列的，探索一些場景，特別是在公安，昨天的分享中我也提到了，公安特別想知道一個真實的世界網絡是什么樣子的，因為他要抓嫌犯，很多時候犯罪分子不是孤立的個體或事件，是團伙性，團伙性的趨勢越來越重，所以一定是需要關系網，才能更好的讓公安去研判。

InfoQ：金融領域呢？

黃樺： 金融領域更加關注一些風險的問題，像銀行最大的問題就是風險問題，如果把風險控制好是可以賺很多錢的，更加希望在交易和帳戶層面做一些風險控制，如果把交易的數據做一個比較好的Study的話，可以把帳戶之間的關系連接起來，然后帳戶之間的屬性企事業能夠建立一些關系。舉個簡單的例子，我開了一個帳戶，沒有用身份證，但是我填的時候一些信息相似度非常高，比如說某街某道，這些是有關聯的。

InfoQ：SCOPA的知識圖譜應用是結合什么數據庫進行的？

黃樺： 用的是Titan。

InfoQ：為什么會選擇這種數據？

黃樺： 這是一個很好的問題，我們做企業級市場的在技術選型包括用一些什么樣的技術方面還是比較慎重，不會貿然，之所以選Titan是有選型的。

第一點是看這個數據庫的整合度高不高，因為現在很多大公司已經有大數據平臺，如果你跟他說部署這樣一種產品地要增加什么什么這樣的組件，跟大數據平臺不是完全耦合化，對方很難答應的，對方說已經做了這個東西，已經有這個平臺了，所以第一點一定是跟它平臺的整合度、成熟度、對接度高不高，這是很關鍵的一點。

第二點，這個產品的性能問題，數據量大的情況下性能是很關鍵的，我們對Titan做過一些壓測，還不錯。

三是可擴展性。對于我們來說，我們很多產品都開了工具，Lisence就很好。

InfoQ：在應用知識圖譜的過程中，您們是不是從零開始研究，還是以前就具有相關項目經驗？

黃樺： 我們公司是2014年成立的，開始是一些普遍的需求，慢慢數據量多了以后，平臺搭起來以后，客戶希望創造更大的用戶價值，這時候傳統的方式就玩不轉了，我們后來做了一些調研，看其它同行和國外的公司是解決什么問題的，后來發現他們或多或少通過關聯數據這樣的路子，才能解決問題。我們2015年的時候嘗試這樣一個方向，正好我們有公安客戶，他跟我們交流過程當中，發現關系網非常重要，基于他的場景慢慢在2015年開發，2016年已經有一套比較成熟的產品。

InfoQ：對于一個公司如果初次開始使用知識圖譜，如何降低成本？

黃樺： 降成本這塊，我覺得盡量采用開源的技術，做這個產品的時候先想清楚要解決什么樣的問題，很多技術人員很多時候為了驗證我懂這個技術、我很強就做這個事情，但我建議在做圖譜產品的時候最好還是發現問題，不用太大、太多，先找到一個問題，根據領域內的知識，需要哪些實體，要構建那些實體關系，有哪些屬性和事件，這樣出來以后基于開源的工具再去把這個系統搭起來。

InfoQ：跟業務是不是也有關系？您之前沒有接公安項目的時候并不知道未來數據庫選型是怎么樣的，一個新的公司，假如他是電商領域的，肯定跟金融領域的做法不一樣，您這方面有差異嗎？

黃樺： 有差異，圖譜按照我們的理解是比較強屬性的東西。

InfoQ：降低成本的話還是考慮行業的業務屬性？

黃樺： 對。比如你在工商行業，你關注的企業、法人、產品、行業這樣一些實體的投入，但是在公安層面，他可能關注的是機構這樣一些數據。

InfoQ：把原始數據轉為知識圖譜可用數據，在實踐上您們遇到最大的困難是什么，如何解決的？

黃樺： 剛才也講了這樣一個過程，我們碰到的最大的問題是對非企業化數據的處理，包括視頻、圖片，這是挺大的一個問題，我們現在文本做的比較好，有一套比較成熟的IOP的工具，它可以自動化的做一些文本。但是我們對視頻、圖像這塊的處理做的并不太好，這塊也在摸索，我覺得可能會采用業內其它同行的玩法。但是視頻、圖片對公安來說是非常重要的一個方面，光有文本的話不夠，未來我們會往視頻圖片這方面整合。

InfoQ：學術界對圖像識別處理比較超前，你們跟學術界有沒有合作？

黃樺： 有，我們公司的CTO是北大畢業的，他在學術界人脈挺廣的，跟北大、清華、上交也有些合作。

InfoQ：據說您們的應用規模已經是在億級實體、幾十億級關系了，那么在這樣的應用規模下，準確度和實時性能如何？效果如何？

黃樺： 效果還不錯。你剛剛提到的億級實體、幾十億級關系，這樣的規模是我們在現實項目當中有碰到過的，公安的一些場景，公安處量還是非常大的，比如對省級的一個公安部門，有全省的信息，國內稍微大的一個省接近上億人嘛，還有外來的，上億的人和上億的事件確實構成很大的規模，我們是可以提供他平常研判所需的，從一個實體人擴展他一些關系的話都是可以在兩三秒左右得到結果，是非常好的體驗。

InfoQ：這個關系鏈是不是有點像六度空間模型？

黃樺： 對。六度空間模型更強調兩個人之間通過不超過六個人認識，其實業務需求比較多樣，有些是交互式的需求，看一個case的時候需要非常快的調出這個case的屬性、關系人。還有一種是需要挖掘的業務模型的，比如說用一些圖、算法和應有的知識做Offline的。

InfoQ：您們的產品主要應用公安，金融，那么對安全性的要求應該比較高，在安全性方面有哪些舉措呢？

黃樺： 我們最開始做公安的時候意識到安全確實是很大的問題，我們采取的方案從兩方面入手：一個是從平臺本身，把數據庫做到極致，所有登錄我們這個產品的用戶都做到非常高的級別；二是對應用權限做的比較好，我們這個產品每個模塊誰可以訪問、做什么操作，都是可以控制的。比如我是市局的人登錄省廳的，只能看到市里相關人員的屬性，不太可能看到別的市的相關人員的信息，他要看的話需要申請。

InfoQ： 大數據技術 這兩年跟早年云計算一樣談的比較多，但發展方向在我看來沒有那么明晰，比如具體的業務領域上有些case跟大家講，但是不像運算里就是SD技術就是一個趨勢，大數據里沒有這個，在您看來大數據以后的發展方向或趨勢是往哪里走？

黃樺： 趨勢方面，我們還是把知識圖譜或關系鏈這套理念用于更多的場景，因為我們現在在公安和金融做的比較多，但是我們也在調研，也在做思考，其它行業通過數據關聯做事情也能產生更大的價值。在技術層，把我們的技術架構做的更細、更深。我們這套數據量可能上億，幾十億，還不錯的量，但是有更大的數據量在等著我們，我們跟其他人聊的時候，知道有些涉及到的數據量非常大，在技術方面怎么做更大的數據量，在數據量更大的情況下保證我們的關聯計算、所有查詢、交互都是很好的體驗。

InfoQ： 謝謝您。我們今天的采訪就到這里。

▌ 以下為PPT全文：

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

注：本文系數據觀綜合自InfoQ、大數據雜談，版權著作權屬原作者所有。數據觀微信公眾號（ID:cbdioreview） ，欲了解更多大數據行業相關資訊，可搜索數據觀（中國大數據產業觀察網www.cbdio.com）進入查看。

?點擊進入 明略數據 在數據觀的企業欄目>>>

責任編輯：王培