智圖大數據引擎助力重慶國土新模式,摘得2019地理信息科技進步二等獎
2019年地理信息產業 科技 進步獎已于6月25日出爐,“重慶市土地房屋專業數據庫建設關鍵技術研究項目”榮獲二等獎,該項目來源于“重慶市土地房屋類大數據應用與共享服務平臺”,由重慶市國土資源和房屋勘測規劃院、重慶欣榮土地房屋勘測技術研究院、北京捷泰天域信息技術有限公司與易智瑞(中國)信息技術有限公司共同完成。
重慶市素來有“山城”之稱,地形地貌復雜,開發利用難度較大,水土流失分布廣,生態環境安全保障壓力大,環境質量繼續改善的難度增大。根據2015年土地利用現狀調查結果,全市國土面積8萬多平方公里,數據量之大已經使得傳統分析方法在全市資源環境承載力評價和國土空間適宜性評價中捉襟見肘。
為了解決以上難題,重慶市國土資源和房屋勘測規劃院,將云計算、大數據等先進的信息化手段應用于國土管理中去,基于Hadoop的大數據環境,使用Spark計算框架,構建重慶市土地房屋類大數據應用與共享服務平臺,解決國土資源環境承載力評價及國土空間適宜性評價的關鍵技術問題;基于智圖大數據引擎軟件(GeoQ Ida),構建大數據分析模型,并支持分析模型的拖拽式隨意組合模式來快速構建工作流,實現業務定制可視化,提高引擎軟件的靈活性,從而促進市國土大數據應用落地,更好地支撐市國土房管局開展土地管理工作。
重慶市土地房屋類大數據分析與共享服務平臺,首先解決的是千萬級圖斑的疊加分析計算的問題,這在國土行業數據分析領域有著很高的應用價值。國土行業數據的一個顯著特點是圖斑多,整個重慶市域一年的土地利用現狀數據就有700多萬個圖斑、永久基本農田140多萬,土地規劃地類600多萬,在圖斑量如此巨大的數據上進行GIS分析,采用傳統方式是無法實現的,該平臺很好的解決了這個問題,使得以前不能算的,現在可以算了,以前算的慢的,現在可以很快得到計算結果,有效支撐了國土規劃評價分析、永久基本農田保護、衛片執法數據分析等方面的工作。
重慶市土地房屋類大數據分析與共享服務平臺
獨創的數據存儲結構
重慶市國土房管數據主要包括土地資源、房屋、地質災害、礦產資源四大類,共47個專業數據庫,數據種類繁多,業務專業性強。在數據庫設計時充分考慮國土資源數據體量大、種類多,大多計算跟空間信息相關,計算復雜度高等特點,因此需要對存儲性能進行優化,保證數據存儲的空間節省、訪問速度快捷和運算高效。
將分布式數據庫與傳統數據存儲混合使用,一方面處理無限增長的數據存儲和數據查詢,充分利用集群的能力來進行高速運算和存儲;另一方面對現有大量空間數據和日常工作的性能效率進行傳統空間數據庫的調優,多線程等方式提高空間數據分析速度。大數據存儲層,統一采用HDFS分布式文件系統,實現對空間數據的存儲。
傳統GIS應用與大數據應用混合模式落地
解決傳統大數據分析計算對于空間數據無法完美支持的問題,“全市一盤棋”模式升級國土資源環境承載力評價,掃清傳統作業無法逾越的障礙,提升效率。針對重慶直轄市全市范圍進行集中連片度計算,使用常規GIS軟件,分區縣進行,基本約1天處理一個區縣;較大面積的區縣處理耗時較長,超過1天。按平均值,重慶市38個區縣,集中連片度計算耗時38人天。基于重慶市土地房屋類大數據應用與共享服務平臺進行集中連片度計算,整個重慶市“全市一盤棋”進行處理,通過重慶市土地房屋類大數據應用與共享服務平臺,計算出整個重慶市一塊優質農田由約30多萬個圖斑組成,跨約8個區縣,并且處理時長縮減1000倍,這是傳統作業無法企及的。
重慶市土地集中連片度計算
重慶市土地房屋類大數據應用與共享服務平臺自上線以來,遞交土地房屋類大數據的空間分析計算及空間統計計算2000余次,完成計算量500余小時。并且,按常規作業耗時進行對比,整體計算時間縮短高達1500倍,大大的提升了工作效率,并減少人工操作的誤差。
該平臺在重慶市國土空間規劃編制中發揮了重要的作用,解決了傳統單機模式下處理單個區縣的資源承載力評價數據耗時長,要想實現省級數據計算更是難上加難的困擾,并創新性的解決跨區縣的數據發現;將大數據空間分析能力應用于“一張圖”,提升行政審批的效率,健全電子政務建設。