航天遙感大(dà)數據集群處理(lǐ)工廠将滿足不同業務的(de)大(dà)量用(yòng)戶同時登錄、數據入庫、數據處理(lǐ)、信息計算(suàn)等功能,工廠采用(yòng)高(gāo)性能存儲計算(suàn)節點。航天遙感大(dà)數據集群處理(lǐ)工廠是一套自主研發、全流程、高(gāo)效快(kuài)速遙感數據處理(lǐ)平台,其核心部分(fēn)是基于高(gāo)性能集群/GPU 計算(suàn)環境的(de)海量遙感影(yǐng)像自動處理(lǐ)算(suàn)法。
工廠采用(yòng)先進的(de)數字攝影(yǐng)測量技術、多(duō)任務調度技術、高(gāo)性能計算(suàn)技術,集 數據生産、任務管理(lǐ)調度、成果質檢爲一體,通(tōng)過合理(lǐ)調配計算(suàn)資源與數據資源, 實現規模化(huà)、快(kuài)速、智能化(huà)的(de)遙感數據處理(lǐ)流程。 工廠能夠接收和(hé)處理(lǐ)多(duō)種國内外中高(gāo)分(fēn)辨率遙感影(yǐng)像,快(kuài)速生成多(duō)種數據處 理(lǐ)産品及遙感解譯産品;系統建立了(le)規範化(huà)、标準化(huà)的(de)海量影(yǐng)像數據生産流程, 同時構建了(le)完備的(de)全過程質量控制體系,最終可(kě)以爲用(yòng)戶提供專業級及消費級應用(yòng)。
爲了(le)減少數據遷移造成的(de)資源消耗,在技術方案上拟用(yòng)“存儲—計算(suàn)”一體化(huà)的(de)集群系統;爲了(le)滿足對時空大(dà)數據快(kuài)速積累的(de)需要,存儲和(hé)計算(suàn)節點必須能夠動态配置,實現熱插拔式的(de)即插即用(yòng)。同時,集群架構采用(yòng)機架式。
采用(yòng)适合于海量數據的(de)大(dà)規模存儲與高(gāo)性能并行處理(lǐ)的(de)“存儲—計算(suàn)”一體化(huà)的(de)分(fēn)布式高(gāo)性能構架是一種典型的(de)無共享系統構架,分(fēn)而治之的(de)辦法,将數據規律地分(fēn)布到節點上,充分(fēn)利用(yòng)節點主機的(de)I/O能力,以使總體達到最大(dà)的(de)I/O速率。
航天遙感大(dà)數據挖掘解譯工廠是一個面向多(duō)源空間數據實時挖掘解譯的(de)複雜系統,以攝影(yǐng)測量與遙感技術爲核心的(de),GIS/CAD以及諸多(duō)IT技術相集成的(de),軟、硬件一體化(huà)的(de)超大(dà)規模空間數據生産系統,我們把它叫做(zuò)現代航測遙感數據挖掘解譯工廠(GDF)。該平台支持衛星、航空、地面等多(duō)種來源的(de)光(guāng)學、雷達、激光(guāng)等空間數據的(de)靈活處理(lǐ)解譯,滿足影(yǐng)像、地圖、三維模型等地理(lǐ)信息産品的(de)快(kuài)速制作。
目标自動識别模塊
遙感影(yǐng)像植被檢測效果圖
平台适用(yòng)于國内外各類遙感影(yǐng)像數據,挖掘解譯自傳感器下(xià)行原始數據至各級地形産品、影(yǐng)像産品、三維産品及信息産品。平台本身自帶完整多(duō)源遙感影(yǐng)像數據完整處理(lǐ)業務,并支持集成及擴展新型遙感應用(yòng)業務,集處理(lǐ)平台與集成平台與一體。
智慧行業專題圖制作工廠可(kě)以進行集群硬件狀況與性能的(de)監控;能夠實現大(dà)規模栅格數據的(de)接入、存儲、管理(lǐ)、檢索、快(kuài)速可(kě)視化(huà)與制圖、共享服務等(數據單景可(kě)達500GB,數據總量可(kě)達500TB);同樣實現大(dà)規模矢量數據的(de)接入、存儲、管理(lǐ)、檢索、快(kuài)速可(kě)視化(huà)與制圖、共享服務等(單個數據可(kě)達3GB,屬性字段支持中文,并支持WCS、WFS等标準服務);還有實現大(dà)規模三維模型數據的(de)接入、存儲、管理(lǐ)、檢索、快(kuài)速可(kě)視化(huà)與制圖、共享服務等(支持三維模型的(de)漸進傳輸模型的(de)存儲與抽取);與此之外還可(kě)以提供非時空數據的(de)接入、存儲、管理(lǐ)、共享等支持,設計實現大(dà)規模時空數據的(de)計算(suàn)框架,支持集群/多(duō)核/GPU等多(duō)層次的(de)高(gāo)性能計算(suàn)技術,實現分(fēn)布式的(de)空間計算(suàn)(調用(yòng)計算(suàn)工具);提供空間數據模型(多(duō)種栅格與矢量數據格式),開放計算(suàn)框架接口與工具編寫規範,并可(kě)由用(yòng)戶自主開發計算(suàn)工具;提供10~20個具有代表性的(de)計算(suàn)工具(RS計算(suàn)工具、GIS計算(suàn)工具),實現多(duō)層次的(de)空間大(dà)數據計算(suàn)與分(fēn)析;大(dà)規模時空大(dà)數據的(de)實時渲染與交互制圖,支持地圖配置、圖層配置、樣式配置等;達到單個地圖瓦片的(de)服務響應時間控制在45ms以内。
在平台功能服務的(de)需求上,要求該平台技術先進、成熟,核心技術自主研發;所有服務的(de)使用(yòng)都通(tōng)過完善的(de)加密控制和(hé)權限管理(lǐ),确保用(yòng)戶的(de)數據安全;支持分(fēn)布式和(hé)集群式部署,能夠實現系統服務能力的(de)動态擴充。
基于智慧行業專題圖制作工廠,根據行業的(de)特點和(hé)需求,本著(zhe)急用(yòng)先建的(de)原則,開展智慧行業應用(yòng)示範。主要開展水(shuǐ)、綠、地、文、環等行業的(de)實時監測、管理(lǐ)、執法等專題服務。
1、水(shuǐ)專題圖服務
主要針對智慧水(shuǐ)務行業提供水(shuǐ)污染在線監測服務以及水(shuǐ)資源分(fēn)布及資源量分(fēn)布專題圖服務。平台主要利用(yòng)衛星和(hé)航空遙感手段,利用(yòng)多(duō)光(guāng)譜高(gāo)光(guāng)譜和(hé)紅外遙感反演,獲得(de)水(shuǐ)體的(de)位置、面積以及水(shuǐ)污染變化(huà)情況,同時快(kuài)速監測水(shuǐ)質(水(shuǐ)體透明(míng)度、葉綠素濃度和(hé)懸浮物(wù)濃度),分(fēn)析城(chéng)市黑(hēi)臭水(shuǐ)體等級,進行排污口的(de)高(gāo)頻次監測識别,獲得(de)水(shuǐ)污染的(de)精确位置、源頭位置及時追溯排污企業和(hé)個人(rén)。
2、綠專題圖服務
航天遙感大(dà)數據平台主要針對智慧園林(lín)及林(lín)業行業提供綠被動态監測服務以及林(lín)木(mù)分(fēn)布專題圖等服務。利用(yòng)多(duō)源遙感數據,開展綠被監測技術、不透水(shuǐ)面監測技術和(hé)水(shuǐ)提取技術等手段,獲得(de)城(chéng)市區域内的(de)景觀布局、城(chéng)市宜居環境及功能區分(fēn)布情況。利用(yòng)無人(rén)機、系留飛艇等平台,及時發現城(chéng)市綠地破壞行爲。
3、地專題圖服務
主要針對規劃國土行業提供地災監測以及地災風險分(fēn)布專題圖等服務。基于多(duō)時相衛星和(hé)航空遙感數據,提取地面塌陷前後的(de)紋理(lǐ)特征和(hé)幾何特征,利用(yòng)深度學習的(de)開展地面塌陷動态監測和(hé)風險預測。結合合成孔徑雷達,分(fēn)析地面沉降趨勢,提供可(kě)行的(de)預警措施。
4、文專題圖服務
主要針對規劃及城(chéng)市建設行業提供城(chéng)市違法建設及文物(wù)保護專題圖等服務。違章(zhāng)建築一般通(tōng)過城(chéng)市管理(lǐ)執法來解決,而違章(zhāng)建築的(de)界定是這一過程的(de)關鍵前置工作,其界定标準主要包括規模、時間以及地域等三方面内容。對于城(chéng)市違章(zhāng)建築的(de)界定,采用(yòng)人(rén)工巡查、航空遙感和(hé)衛星遙感等天空地一體化(huà)手段。利用(yòng)天基衛星數據全面普查,依托航空平台監測,從空、地兩個維度對區域建築進行大(dà)範圍、多(duō)視角的(de)長期監控,及時發現,快(kuài)速定位,爲行政執法提供有力證據。
5、環專題圖服務
主要針對環保行業提供空氣污染監測以及城(chéng)市熱島效應等服務。整合地面監測資源,輔以激光(guāng)雷達或飛艇和(hé)無人(rén)機、衛星遙感等垂直監測,構建并完善立體監測網絡,開展區域大(dà)氣污染物(wù)立體監測、源解析和(hé)機制分(fēn)析。聚焦工業排放、居民散燒、稭稈燃燒、汽車排放等排放源,利用(yòng)遙感等技術手段追溯霾污染來源。
城(chéng)市熱島效應監測,通(tōng)過多(duō)通(tōng)道的(de)熱紅外遙感數據,結合大(dà)氣廓線、風場和(hé)地形分(fēn)布,反演獲得(de)地表溫度和(hé)發射率等産品,分(fēn)析城(chéng)市熱島效應,提供城(chéng)市高(gāo)溫預警和(hé)公共場所安全保障,指導城(chéng)市規劃,構建宜居城(chéng)市。
火情監測專題圖服務:指利用(yòng)高(gāo)頻次氣象衛星進行火點判識,主要是遙感分(fēn)析的(de)手段判識火點像元的(de)經緯度、所在位置的(de)行政區劃、土地利用(yòng)類型、火點判識的(de)可(kě)信度(火點、可(kě)能火點、雲區火點等)等。同時加入了(le)可(kě)能影(yǐng)響到火勢發展的(de)實況風力、天氣、相對濕度、氣壓、降水(shuǐ)等,同時可(kě)提供天氣及自然災害預警,給森林(lín)防火監測、稭稈焚燒監測等帶來了(le)時效性更高(gāo)的(de)監測方式,與此同時可(kě)提供緊急調度、災害專報自動生成、曆史回顧,全面滿足火情監測的(de)需求。