第十二屆BigData NoSQL Meetup于快手總部圓滿落幕
近日,第十二屆BigData NoSQL Meetup在快手總部圓滿落幕。來自快手、阿里云、京東、滴滴、貝殼找房的技術專家與近300位開發者齊聚一堂,交流分享NoSQL等大數據技術的應用與實踐。
本次活動由快手技術沙龍、云棲社區等技術社區共同舉辦。快手技術沙龍是由快手舉辦的線下技術交流活動,每期活動將以AI、大數據、音視頻技術等技術方向為主題,邀請產業、學界的專家、技術人員進行分享,打造前沿技術的交流平臺。
本次活動上,快手大數據高級研發工程師陳楊首先分享了《HBase在千億級用戶特征數據分析中的應用與實踐》。陳楊介紹,快手每天產生數百億用戶特征數據,分析師需要在跨30-90天的數千億特征數據中,任意選擇多維度組合秒級分析用戶行為。針對這一需求, 快手基于HBase自主研發了支持bitmap轉化、存儲、索引、快速計算的分析服務——BitBase,并成功應用于留存分析、用戶增長、廣告營銷、ABTest 等多個業務場景。
阿里云數據庫專家吳陽平的演講主題為《阿里云HBase x-pack數據存儲檢索分析平臺》,演講分享了阿里云HBase x-pack 的平臺能力——基于 Apache HBase、Phoenix、Spark 深度擴展,融合 Solr 等技術,支持海量數據的一站式存儲、檢索與分析,被廣泛應用于風控、推薦、檢索、畫像、 社交、物聯網、離線數倉等場景,助力企業數據智能化。
京東大數據專家吳怡燃分享了《NoSQL在京東的使用》。演講首先介紹了NoSQL在京東的使用場景;講解了HBase支撐在線系統時遇到的挑戰與改進,如支持異構配置的RSGroup、RPC優化RWS隊列、跨集群雙活集群等;并分享了HDFS參數優化、Zookeeper配置優化、HBase參數優化等經驗。
貝殼大數據架構團隊負責人趙國賢分享了《流式數據的平臺化實踐與挑戰》,介紹了貝殼流式數據從產生、處理、應用整個生命周期的管理與平臺化實踐。包括流式數據的挑戰、流式數據的平臺化建設以及流式數據的應用案例。
一直以來,快手十分重視、關注NoSQL等大數據技術的發展。本次快手技術沙龍與云棲社區聯合舉辦BigData NoSQL Meetup活動,正是希望能夠進一步推動相關技術的溝通與交流,看到更多經驗分享、更多對技術挑戰的突破。