夯實數據庫技術基礎 為京東大數據運營護航
近日,第七屆中國數據庫技術大會(DTCC 2016)在北京國際會議中心拉開帷幕。京東作為國內領先的大數據、云計算實踐者受邀出席了此次大會,就大規模內存數據庫分散式存儲系統、自動化數據庫運維、京東電商廣告和推薦系統以及分布式數據庫等內容做了專業精彩的分享。
大規模內存數據庫支撐核心業務
隨著大數據影響力的不斷擴張及其相關技術的深入發展,大數據的運算和使用,正對整個互聯網行業乃至傳統行業帶來顛覆性的創新和變革。電商也從原來習慣的貨架式銷售走向場景式銷售,走向“內容和商品融合”的階段。京東作為國內中國領先的自營式電商企業,擁有億級用戶數據,數據庫的建設對于京東業務的發展有著至關重要的作用。
京東高級技術總監劉海鋒分享了京東過去三年在大規模內存數據庫領域的技術探索。電商業務需要高速數據訪問,數據訪問速度對終端用戶的體驗非常關鍵。京東目前使用的數據庫叫做JIMDB(The Jingdong In-Memory Database),是一種新型的,以內存為中心的全部托管、全管理服務化的數據庫。劉海鋒介紹稱,JIMDB能夠提供非常豐富的數據類型和數據結構,性能穩定,簡單高效,對互聯網公司來說非常方便。從目前的業務價值角度,JIMDB支撐了京東幾乎所有的在線業務。現在,團隊正在針對電商業務場景來設計開發JIMDB第三代版本——完全自主研發的以內存為中心的NewSQL數據庫,將同時實現高性能、高可靠、強一致、橫向可擴展、事務與SQL支持等技術特性。
京東數據庫系統研發部負責人田琪也從技術角度展示了京東分布式數據庫的特性。京東分布式數據庫具備諸多優點:服務高可用,主庫出現故障,從庫自動切換;數據高可靠,定期快照備份,增量備份;數據自動拆分,一鍵無縫遷移擴容等特性;同時還能夠針對特殊業務需求,定制優化特殊的數據庫版本。這些優點滿足了京東高并發海量數據業務的需求。
自動化數據庫管理平臺保障運維
在數據庫技術、云計算的廣泛應用下,企業數據庫運維面臨日益增長的規模挑戰,而有限的運維人員越來越感覺到管理上力不從心。京東技術總監李京生從流程管理與上線、數據庫運維管理方面分享了京東在數據庫管理平臺的自動化與自助化成果。
李京生表示目前京東的核心數據庫都已基本運行在MySQL上,規模十分龐大,日常的PV已達千億級別,為京東業務提供百分百安全、高效、穩定的服務。李京生強調,京東超大規模數據庫的運維工作,是靠運維自動化平臺完成的。
大數據運維管理平臺的自動化能夠保障平臺的安全、穩定、高效運行,而大數據背景下的推薦系統則能夠實現更有效而精準的數字營銷。京東數字營銷業務部架構師包勇軍結合京東推薦機器學習平臺的算法和架構演化過程,分享了更為具體的實踐經驗。對從淺層模型時代到深度學習時代的技術應用做了專業精深的解讀和分析。
京東在數據庫技術方面的創新和研究成果充分反映了京東以技術驅動,不斷提升用戶體驗和網購品質的發展戰略。京東大數據的創新應用在推動業務發展的同時也在不斷取得新突破,而這樣的創新性突破也將為即將到來的618大促保駕護航。