Viac

Skombinovať prekrývajúce sa rastre v gdal_calc.py, pričom z každého pixelu vezmete maximálnu hodnotu?


Chcem skombinovať 3 prekrývajúce sa rastre a vytvoriť 1 raster. Každý z nich má rovnaké rozmery, rozlíšenie a CRS. Chcem naplniť nový raster maximálnou hodnotou z každej z vrstiev. Keď však použijem gdal_calc.py, výstup zapíše iba dva z rastrov.

Nejaké nápady?

gdal_calc.py -A ./EXTENT_30_OS_clipped_nodata.tif -B ./EXTENT_100_OS_clipped_nodata.tif -C ./EXTENT_1000_OS_clipped_nodata.tif --calc = "maximum (A, B, C)" -outfile = 00/EXTENT_1000 = Byte --NoDataValue = -9999-prepísať

gdal_calc.py, ako je uvedené v dokumentácii:

http://www.gdal.org/gdal_calc.html

používa funkcie numpy array, v tomto prípade numpy.maximum, ktoré sú špecifikované tu:

http://docs.scipy.org/doc/numpy/reference/generated/numpy.maximum.html

Hovorí sa, že môžete použiť iba 2 parametre. Takže váš výpočetný výraz pre tri mriežky musí vyzerať takto:

maximum (maximum (A, B), C)


Skombinovať prekrývajúce sa rastre v gdal_calc.py, pričom z každého pixelu vezmete maximálnu hodnotu? - Geografické informačné systémy

Táto kapitola poskytuje koncepčné informácie a informácie o použití o načítaní, ukladaní, prístupe a práci s priestorovými údajmi v prostredí veľkých dát.


    Prostredníctvom funkcií Oracle Big Data Spatial a Graph je možné ukladať, pristupovať a analyzovať priestorové údaje rýchlo a efektívne pre rozhodovanie na základe polohy.
    Oracle Big Data Spatial and Graph podporuje ukladanie a spracovanie vektorových aj rastrových priestorových údajov.
    Oracle Spatial Hadoop Image Processing Framework umožňuje vytváranie nových kombinovaných obrazov vyplývajúcich zo série fáz spracovania paralelne.
    Prvým krokom k spracovaniu obrázkov pomocou Oracle Spatial a Graph Hadoop Image Processing Framework je skutočne mať obrázky v HDFS, potom obrázky rozdeliť na inteligentné dlaždice.
    Hneď ako sa obrázky načítajú do systému HDFS, je možné ich súbežne spracovávať pomocou rámca na spracovanie obrazu Oracle Spatial Hadoop.
    Rámec poskytuje API na spracovanie rastrov, ktoré vám umožňuje načítať a spracovávať rastre bez vytvárania XML, ale namiesto toho pomocou aplikácie Java. Aplikáciu je možné vykonať vo vnútri klastra alebo na vzdialenom uzle.
    Pri vytváraní vlastných tried spracovania. Framework Oracle Spatial Hadoop Raster Simulator Framework môžete použiť na nasledujúce kroky „predstieraním“ ich zapojenia do rámca Oracle Raster Processing Framework.
    Oracle Big Data Spatial Raster Processing pre Apache Spark je API pre priestorové rastrové spracovanie pre Javu.
    Oracle Big Data Spatial Vector Analysis je API pre priestorovú vektorovú analýzu, ktoré funguje ako úloha Hadoop a poskytuje komponenty MapReduce na priestorové spracovanie údajov uložených v HDFS.
    Oracle Big Data Spatial Vector Analysis pre Apache Spark je API pre priestorovú vektorovú analýzu pre Java a Scala, ktoré poskytuje priestorovo podporované RDD (Resilient Distributed Datasets), ktoré podporujú priestorové transformácie a akcie, priestorové delenie a indexovanie.
    Oracle Big Data Spatial Vector Hive Analysis poskytuje priestorové funkcie na analýzu údajov pomocou Hive.
    Webovú aplikáciu Oracle Big Data SpatialViewer (SpatialViewer) môžete použiť na vykonávanie rôznych úloh.

2.1 O podpore priestorových a grafických údajov pre veľké údaje pre priestorové údaje

Prostredníctvom funkcií Oracle Big Data Spatial a Graph je možné ukladať, pristupovať a analyzovať priestorové údaje rýchlo a efektívne pre rozhodovanie na základe polohy.

Priestorové údaje predstavujú lokalizačné charakteristiky skutočných alebo koncepčných objektov vo vzťahu k skutočnému alebo koncepčnému priestoru v geografickom informačnom systéme (GIS) alebo v inej aplikácii založenej na polohe.

Priestorové funkcie sa používajú na geotagovanie, obohacovanie, vizualizáciu, transformáciu, načítavanie a spracovanie dvoj a trojrozmerných geografických obrazov špecifických pre danú polohu a manipuláciu s geometrickými tvarmi pre funkcie GIS.

2.1.1 Čo je priestorový graf veľkých údajov a graf na serveri Apache Hadoop?

Oracle Big Data Spatial a Graph na Apache Hadoop je rámec, ktorý používa programy MapReduce a analytické možnosti v klastri Hadoop na ukladanie, prístup a analýzu priestorových údajov. Priestorové funkcie poskytujú schému a funkcie, ktoré uľahčujú ukladanie, získavanie, aktualizáciu a dotazovanie zbierok priestorových údajov. Big Data Spatial and Graph na Hadoop podporuje ukladanie a spracovanie priestorových obrázkov, ktorými môžu byť geometrické tvary, rastrové alebo vektorové obrázky, a sú uložené v jednom z niekoľko stoviek podporovaných formátov.

Príručka Oracle Spatial and Graph Developer's Guide na úvod do priestorových konceptov, údajov a operácií

2.1.2 Výhody Oracle Big Data Spatial a Graph

Výhody používania Oracle Big Data Spatial a Graph zahŕňajú nasledujúce:

Na rozdiel od niektorých systémov a motorov priestorového spracovania zameraných na GIS je Oracle Big Data Spatial and Graph schopný spracovávať štruktúrované aj neštruktúrované priestorové informácie.

Zákazníci nie sú nútení ani obmedzovaní ukladať vo svojom prostredí iba jednu konkrétnu formu údajov. Môžu mať svoje údaje uložené ako priestorové alebo ako priestorové obchodné údaje a stále môžu na svoje priestorové spracovanie používať Oracle Big Data.

Toto je rámec, a preto zákazníci môžu používať dostupné API na vytváranie vlastných aplikácií alebo operácií na mieru.

Oracle Big Data Spatial dokáže spracovať vektorové aj rastrové typy informácií a obrázkov.

2.1.3 Priestorové funkcie a funkcie Oracle Big Data

Priestorové údaje sa načítajú na dotaz a analýzu pomocou servera Spatial Server a obrázky sa ukladajú a spracovávajú pomocou rámca na spracovanie obrázkov. Server Oracle Big Data Spatial and Graph môžete na serveri Hadoop použiť na:

Katalogizácia geopriestorových informácií, ako sú stopy na základe geografických máp, dostupnosť zdrojov v geografii atď.

Topologické spracovanie na výpočet operácií na diaľku, napríklad najbližšieho suseda na mapovom mieste.

Kategorizácia na vytváranie hierarchických máp geografií a obohatenie mapy vytváraním demografických asociácií v rámci prvkov mapy.

Nasledujúce funkcie sú integrované do Oracle Big Data Spatial a Graph:

Funkcia indexovania pre rýchlejšie vyhľadávanie priestorových údajov.

Funkcia mapy na zobrazenie stôp na mape.

Funkcia priblíženia slúži na priblíženie a oddialenie konkrétnych geografických oblastí.

Funkcia Mozaika a Skupina zoskupuje skupinu obrazových súborov na spracovanie a vytvára mozaiku alebo podmnožinu operácií.

Kartézske a geodetické súradnicové funkcie predstavujú priestorové údaje v jednom z týchto súradnicových systémov.

Hierarchická funkcia, ktorá vytvára a spája geometrickú hierarchiu, ako je krajina, štát, mesto, PSČ atď. Táto funkcia môže spracovať vstupné údaje vo forme dokumentov alebo súradníc zemepisnej šírky/dĺžky.

2.1.4 Priestorové súbory, formáty a softvérové ​​požiadavky Oracle Big Data

Uložené priestorové údaje alebo obrázky môžu byť v jednom z týchto podporovaných formátov:

Geodetické aj karteziánske údaje

Ďalšie formáty podporované GDAL

Na ukladanie a spracovanie priestorových údajov musíte mať nasledujúci softvér:

Kompilátor GCC - Len vtedy, ak sa používajú formáty podporované GDAL

2.2 Oracle Big Data Vector a rastrové spracovanie údajov

Oracle Big Data Spatial and Graph podporuje ukladanie a spracovanie vektorových aj rastrových priestorových údajov.

2.2.1 Oracle Big Data Spatial Raster Data Processing

Na spracovanie rastrových údajov zavádza načítavač GDAL rastrové priestorové údaje alebo obrázky do prostredia HDFS. S priestorovými údajmi s rastrom je možné vykonať nasledujúce základné operácie:

Mozaika: Skombinovaním viacerých rastrových obrázkov vytvorte jeden obrázok mozaiky.

Podmnožina: Vykonajte operácie s podmnožinou na jednotlivých obrázkoch.

Operácie rastrovej algebry: Vykonajte operácie algebry na každom pixeli v rastroch (napríklad sčítajte, delte, násobte, logujte, pow, sine, sinh a acos).

Užívateľom špecifikované spracovanie: Rastrové spracovanie je založené na triedach, ktoré užívateľ nastaví na vykonanie vo fázach mapovania a znižovania.

Táto funkcia podporuje rámec MapReduce pre operácie rastrovej analýzy. Používatelia majú možnosť vytvárať si vlastné rastrové operácie, ako napríklad vykonávať algebraické funkcie na rastrových údajoch a podobne. Vypočítajte napríklad sklon na každej základni digitálneho výškového modelu alebo 3D reprezentáciu priestorového povrchu, napríklad terénu. Podrobnosti nájdete v Rámci na spracovanie obrazu Oracle Big Data Spatial Hadoop pre rastrové spracovanie údajov.

2.2.2 Priestorové vektorové spracovanie údajov Oracle Big Data

Táto funkcia podporuje spracovanie priestorových vektorových údajov:

Načítané a uložené v prostredí Hadoop HDFS

Uložené buď ako karteziánske alebo geodetické údaje

Uložené priestorové vektorové údaje je možné použiť na vykonávanie nasledujúcich operácií dotazu a ďalšie:

Pri priestorových vektorových dátach je podporovaných sedem operácií dátových služieb:

Okrem toho existuje obmedzená podpora rozhrania API Visualization Map iba pre formát HTML5. K týmto rozhraniam API máte prístup a môžete vytvárať vlastné operácie. Podrobnosti nájdete v časti „Analýza priestorových vektorových databáz Oracle Big Data“.

2.3 Rámec Oracle Big Data Spatial Hadoop na spracovanie obrazu pre rastrové spracovanie údajov

Oracle Spatial Hadoop Image Processing Framework umožňuje vytváranie nových kombinovaných obrazov vyplývajúcich zo série fáz spracovania paralelne.

Obsahuje nasledujúce funkcie:

Úložisko obrázkov HDFS, kde je každé rozdelenie veľkosti bloku uložené ako samostatná dlaždica, pripravená na budúce nezávislé spracovanie

Operácie podskupiny, definované používateľom a mapovej algebry súbežne spracovávané pomocou rámca MapReduce

Schopnosť transparentne pridať vlastné triedy spracovania, ktoré sa majú vykonávať v mapovacích alebo redukčných fázach paralelne

Rýchle spracovanie georeferencovaných obrázkov

Podpora formátov GDAL, viacpásmových obrázkov, DEM (modely s digitálnou eleváciou), viacerých hĺbok pixelov a SRID

Java API poskytuje prístup k rámcovým operáciám užitočným pre webové služby alebo samostatné aplikácie Java

Rámec na testovanie a ladenie tried spracovania používateľov v lokálnom prostredí

Rámec spracovania obrazu Oracle Spatial Hadoop pozostáva z dvoch modulov, nakladača a procesora, každý z nich je reprezentovaný úlohou Hadoop bežiacou na rôznych stupňoch v klastri Hadoop, ako je znázornené na nasledujúcom obrázku. Obrázky môžete tiež načítať a spracovávať pomocou webovej aplikácie Image Server a na odhalenie schopností rámca môžete použiť rozhranie Java API.

Informácie o inštalácii a konfigurácii nájdete na:

2.3.1 Image Loader

Image Loader je úloha Hadoop, ktorá načítava konkrétny obrázok alebo skupinu obrázkov do systému HDFS.

Pri importe je obrázok kachľový a uložený ako blok HDFS.

GDAL sa používa na dlaždice obrázka.

Každá dlaždica je načítaná iným mapovačom, takže čítanie je paralelné a rýchlejšie.

Každá dlaždica obsahuje určitý počet prekrývajúcich sa bajtov (vstup užívateľa), takže dlaždice pokrývajú oblasť od susedných dlaždíc.

Úloha MapReduce používa mapovač na načítanie informácií pre každú dlaždicu. Počet mapovačov je „n“ v závislosti od počtu dlaždíc, rozlíšenia obrazu a veľkosti bloku.

Jedna fáza zníženia na obrázok spojí všetky informácie načítané mapovačmi a uloží obrázky do špeciálneho formátu .ohif, ktorý obsahuje rozlíšenie, pásma, posuny a obrazové údaje. Takto je známy posun súboru obsahujúci každú dlaždicu a umiestnenie uzla.

Každá dlaždica obsahuje informácie o každom pásme. Je to užitočné vtedy, keď je potrebné spracovať iba niekoľko dlaždíc, potom sa načítajú iba zodpovedajúce bloky.

Nasledujúci diagram predstavuje proces Image Loader:

2.3.2 Obrazový procesor

Obrazový procesor je úloha Hadoop, ktorá filtruje dlaždice, ktoré sa majú spracovať, na základe vstupu používateľa a súbežne vykonáva spracovanie, aby vytvoril nový obrázok.

Spracuje konkrétne dlaždice obrázka identifikované používateľom. Môžete identifikovať jednu, nulu alebo viac tried spracovania. Tieto triedy sa vykonávajú vo fáze mapovania alebo znižovania v závislosti od vašej konfigurácie. Vo fáze mapovania sa po vykonaní tried spracovania vykoná mozaická operácia na prispôsobenie pixelov konečnému výstupnému formátu požadovanému používateľom. Ak nebola požadovaná žiadna operácia s mozaikou, vstupný raster sa odošle na zníženie fázy tak, ako je. Vo fáze reduktora sú všetky dlaždice zostavené do súboru údajov GDAL, ktorý je vstupom pre triedu spracovania redukcie užívateľa, kde konečný výstup možno meniť alebo analyzovať podľa potrieb používateľa.

Mapovač načíta údaje zodpovedajúce jednej dlaždici, pričom zachová dátovú lokalitu.

Po načítaní údajov mapovač filtruje pásma požadované používateľom.

Filtrované informácie sa spracujú a odošlú každému mapovaču vo fáze zmenšenia, kde sa spoja bajty a konečný spracovaný obrázok sa uloží do systému HDFS alebo bežného systému súborov v závislosti od požiadavky používateľa.

Nasledujúci diagram predstavuje úlohu obrazového procesora:


Opis ilustrácie image_processor_job.png

2.4 Načítanie obrázku do programu Hadoop pomocou zavádzača obrázkov

Prvým krokom k spracovaniu obrázkov pomocou rámca Oracle Spatial a Graph Hadoop Image Processing Framework je skutočne mať obrázky vo formáte HDFS, potom obrázky rozdelené na inteligentné dlaždice.

To umožňuje, aby úloha spracovania pracovala samostatne na každej dlaždici nezávisle. Program Image Loader vám umožňuje súbežne importovať jeden obrázok alebo ich kolekciu do systému HDFS, čo skracuje dobu načítania.

Program Image Loader importuje obrázky zo súborového systému do systému HDFS, kde každý blok obsahuje údaje pre všetky pásma obrazu, takže ak je potrebné ďalšie spracovanie na konkrétnych pozíciách, informácie je možné spracovať na jednom uzle.

2.4.1 Úloha načítania obrázku

Úloha načítania obrázku má svoj vlastný vstupný formát, ktorý rozdeľuje obrázok na súvisiace rozdelenia obrázkov. Rozdelenia sa vypočítajú na základe algoritmu, ktorý číta štvorcové bloky obrazu pokrývajúce definovanú oblasť, ktorá je určená

oblasť = ((veľkosť bloku - bajty metadát) / počet pásiem) / bajtov na pixel.

Pri tých kusoch, ktoré nepoužívajú celú veľkosť bloku, sa zvyšné bajty doplnia nulami.

Rozdelenia sú priradené rôznym mapovačom, kde sa každá priradená dlaždica číta pomocou GDAL na základe informácií ImageSplit. V dôsledku toho sa vytvorí inštancia ImageDataWritable a uloží sa do kontextu.

Metadáta nastavené v inštancii ImageDataWritable používajú triedy spracovania na nastavenie obrázka s dlaždicami na jeho manipuláciu a spracovanie. Pretože zdrojové obrázky sa čítajú z viacerých mapovačov, načítanie sa vykonáva paralelne a rýchlejšie.

Potom, čo mapovače dokončia čítanie, reduktor vyberie dlaždice z kontextu a spojí ich a uloží súbor do systému HDFS. Na čítanie obrázku späť je potrebný špeciálny proces čítania.

2.4.2 Vstupné parametre

Nasledujúce vstupné parametre sú dodávané príkazu Hadoop:

  • SOURCE_IMGS_PATH je cesta k zdrojovým obrázkom alebo priečinkom. Pre viac vstupov použite oddeľovač čiarok. Táto cesta musí byť prístupná prostredníctvom NFS pre všetky uzly v klastri.
  • HDFS_OUTPUT_FOLDER je výstupný priečinok HDFS, kde sú uložené načítané obrázky.
  • OVERLAPPING_PIXELS je voliteľný počet prekrývajúcich sa pixelov na okrajoch každej dlaždice, ak tento parameter nie je uvedený, uvažuje sa s predvoleným nastavením dvoch prekrývajúcich sa pixelov.
  • GDAL_LIB_PATH je cesta, kde sa nachádzajú knižnice GDAL.
  • GDAL_DATA_PATH je cesta, kde sa nachádza priečinok s údajmi GDAL. Táto cesta musí byť prístupná prostredníctvom NFS pre všetky uzly v klastri.
  • THUMBNAIL_PATH je voliteľná cesta na uloženie miniatúry načítaných obrázkov. Táto cesta musí byť prístupná prostredníctvom NFS pre všetky uzly v klastri a musí mať povolenie na prístup pre používateľov priadze.
  • -expand riadi, či cesta HDFS načítaného rastra rozširuje zdrojovú cestu vrátane všetkých adresárov. Ak to nastavíte na hodnotu false, súbor .ohif sa uloží priamo do výstupného adresára (zadaného pomocou voľby -o) bez toho, aby ste do rastra zahrnuli cestu tohto adresára.
  • -extractLogs určuje, či sa majú protokoly spustenej aplikácie extrahovať do dočasného adresára systému. Štandardne nie je povolený. Extrakcia neobsahuje protokoly, ktoré nie sú súčasťou tried Oracle Framework.
  • -logFilter & ltLINES_TO_INCLUDE_IN_LOG & gt je reťazec oddelený čiarkami, ktorý uvádza všetky vzory, ktoré sa majú zahrnúť do extrahovaných protokolov, napríklad na zahrnutie balíkov vlastných tried spracovania.
  • -pyramid & ltOUTPUT_DIRECTORY, LEVEL, [RESAMPLING] & gt umožňuje vytváranie pyramíd pri počiatočnom načítaní rastra. Pred načítaním pyramídy HDFS do rovnakého adresára HDFSA, ako je požadované na načítanie, musí byť k dispozícii OUPUT_DIRECTORY na uloženie miestnych pyramíd. Musí byť poskytnutá ÚROVEŇ pyramídy, ktorá indikuje, koľko pyramíd je potrebných pre každý raster. Algoritmus RESAMPLING je voliteľný na určenie metódy použitej na vykonanie prevzorkovania, ak nie je nastavený žiadny, potom sa použije BILINEAR.

Nasledujúci príkaz napríklad načíta všetky georeferencované obrázky do priečinka images a pridá prekrytie 10 pixelov na každom možnom okraji. Výstupný priečinok HDFS je najpresnejší a miniatúra načítaného obrázku je uložená v priečinku processtest.

V predvolenom nastavení sú mapovače a reduktory nakonfigurované tak, aby získali 2 GB JVM, ale používatelia môžu toto nastavenie alebo akékoľvek iné konfiguračné vlastnosti úlohy prepísať pridaním súboru vlastností imagejob.prop do rovnakého umiestnenia priečinka, z ktorého sa príkaz vykonáva. Tento súbor vlastností môže obsahovať všetky konfiguračné vlastnosti, ktoré chcete prepísať. Napríklad,

Pamäť haldy Java (vlastnosti java.opts) musí byť rovnaká alebo menšia ako celková pamäť priradená mapovačom a reduktorom (mapreduce.map.memory a mapreduce.reduce.memory). Ak teda zvýšite pamäť haldy Java, možno budete musieť zvýšiť aj pamäť pre mapovače a reduktory.

Aby GDAL fungoval správne, knižnice musia byť dostupné pomocou $ LD_LIBRARY_PATH. Pred vykonaním úlohy sa uistite, že je cesta k zdieľaným knižniciam v okne shellu správne nastavená. Napríklad:

2.4.3 Výstupné parametre

Redukcia generuje dva výstupné súbory na vstupný obrázok. Prvým je súbor .ohif, ktorý sústreďuje všetky dlaždice pre zdrojový obrázok, pričom každú dlaždicu môže spracovávací mapovač spracovať ako oddelenú inštanciu. Interne je každá dlaždica uložená ako blok HDFS, bloky sú umiestnené vo viacerých uzloch, jeden uzol môže obsahovať jeden alebo viac blokov konkrétneho súboru .ohif. Súbor .ohif je uložený v priečinku určenom používateľom s príznakom -out pod/user/& ltUSER_EXECUTING_JOB & gt/OUT_FOLDER/& ltPARENT_DIRECTORIES_OF_SOURCE_RASTER & gt, ak nebol použitý príznak 𠄾xpand. V opačnom prípade bude súbor .ohif umiestnený na/user/& ltUSER_EXECUTING_JOB & gt/OUT_FOLDER/a súbor bude možné identifikovať ako original_filename.ohif.

Druhým výstupom je príbuzný súbor metadát, ktorý uvádza všetky časti obrázku a súradnice, ktoré každý z nich pokrýva. Súbor je umiestnený v HDFS pod umiestnením metadát a jeho názov je generovaný hašom pomocou názvu súboru ohif. Tento súbor je len na interné použitie Oracle a uvádza dôležité metadáta zdrojového rastra. Niekoľko príkladov riadkov zo súboru metadát:

Ak bol zadaný príznak -thumbnail, miniatúra zdrojového obrázku sa uloží do súvisiaceho priečinka. Toto je spôsob, ako si predstaviť preklad súboru .ohif. Do protokolov o vykonaní úlohy je možné vstúpiť pomocou príkazu yarn logs -applicationId & ltapplicationId & gt.

2.5 Spracovanie obrazu pomocou obrazového procesora Oracle Spatial Hadoop

Hneď ako sa obrázky načítajú do systému HDFS, je možné ich paralelne spracovať pomocou rámca na spracovanie obrazu Oracle Spatial Hadoop.

Zadáte výstup a rámec filtruje dlaždice, aby sa zmestili do tohto výstupu, spracuje ich a spojí všetky a uloží ich do jedného súboru. K dispozícii sú aj operácie s algebrou mapy a, ak sú nastavené, budú prvou časťou fázy spracovania. Môžete zadať ďalšie triedy spracovania, ktoré sa majú vykonať pred tým, ako framework vytvorí konečný výstup.

Obrazový procesor načíta konkrétne bloky údajov na základe vstupu (popis mozaiky alebo jeden raster) a vyberie iba pásma a pixely, ktoré sa hodia do konečného výstupu. Vykonajú sa všetky uvedené triedy spracovania a konečný výstup sa uloží do systému HDFS alebo súborového systému v závislosti od požiadavky používateľa.

2.5.1 Úloha spracovania obrazu

Úloha spracovania obrazu má rôzne toky v závislosti od typu spracovania požadovaného používateľom.

Predvolený tok úlohy spracovania obrazu: vykonáva sa pri spracovaní, ktoré zahŕňa operáciu s mozaikou, operáciu s jedným rastrom alebo základnú operáciu s viacerými rastrami.

Tok úloh spracovania viacerých rastrových obrázkov: vykonáva sa na spracovanie, ktoré zahŕňa komplexné operácie viacnásobnej rastrovej algebry.

2.5.1.1 Predvolený postup úlohy spracovania obrazu

Predvolený tok úlohy spracovania obrazu sa vykoná, ak je požadované akékoľvek z nasledujúcich spracovaní:

Základná operácia viacnásobnej rastrovej algebry

Tok má svoj vlastný FilterInputFormat, ktorý určuje dlaždice, ktoré sa majú spracovať, na základe SRID a súradníc. Do úvahy sa berú iba obrázky s rovnakým dátovým typom (hĺbka pixelov) ako typ vstupného údaju do mozaiky (hĺbka pixelov). Zahrnuté sú iba dlaždice, ktoré sa pretínajú so súradnicami určenými užívateľom pre výstup mozaiky. Na spracovanie operácie s jedným rastrom alebo so základnou viacnásobnou rastrovou algebrou (okrem mozaiky) obsahuje filter všetky dlaždice vstupných rastrov, pretože spracovanie sa vykoná na kompletných obrázkoch. Po výbere dlaždíc sa pre každý obrázok vytvorí vlastný ImageProcessSplit.

Keď mapovač prijme ImageProcessSplit, prečíta informácie na základe toho, čo ImageSplit špecifikuje, vykoná filter na výber iba pásiem určených používateľom a vykoná zoznam operácií s mapou a tried spracovania definovaných v žiadosti, ak existujú.

Každý proces mapovača prebieha v uzle, kde sa nachádzajú údaje. Po spustení operácií a tried spracovania algebry mapy overenie overí, či používateľ požaduje operáciu s mozaikou alebo či analýza obsahuje kompletný obrázok a či je požadovaná operácia s mozaikou, operáciu vykoná konečný proces. Operácia mozaiky vyberie z každej dlaždice iba pixely, ktoré sa zmestia do výstupu, a vykoná potrebné zmeny rozlíšenia, aby ich pridal do výstupu mozaiky. Operácia jedného procesu len skopíruje predchádzajúce bajty rastrových dlaždíc tak, ako sú. Výsledné bajty sú uložené v NFS, aby ich bolo možné redukovať.

Jediný reduktor vyberá dlaždice a dáva ich dohromady. Ak ste zadali akúkoľvek základnú operáciu viacnásobnej rastrovej algebry, vykoná sa súčasne so zlúčením dlaždíc do konečného výstupu. Táto operácia ovplyvní iba pretínajúce sa pixely vo výstupe mozaiky alebo v každom pixeli, ak nebola požadovaná žiadna operácia s mozaikou. Ak ste zadali triedu spracovania reduktora, množina údajov GDAL s výstupným rastrom sa odošle do tejto triedy na analýzu a spracovanie. Ak ste vybrali výstup HDFS, zavolá sa program ImageLoader, ktorý uloží výsledok do systému HDFS. V opačnom prípade je obrázok v predvolenom nastavení pripravený pomocou GDAL a je uložený v systéme súborov (NFS).

2.5.1.2 Postup spracovania viacerých rastrových obrázkov

Tok úlohy spracovania viacnásobného rastrového obrázku sa vykoná, keď je požadovaná komplexná operácia viacnásobnej rastrovej algebry. Platí to pre rastre, ktoré majú rovnaký MBR, typ pixelu, veľkosť pixelu a SRID, pretože tieto operácie sa aplikujú pixel po pixeli v zodpovedajúcej bunke, kde každý pixel predstavuje rovnaké súradnice.

Tok má svoj vlastný multipleRasterInputFormat, ktorý určuje dlaždice, ktoré sa majú spracovať, na základe SRID a súradníc. Do úvahy sa berú iba obrázky s rovnakým MBR, typom pixelu, veľkosťou pixelov a SRID. Zahrnuté sú iba rastre, ktoré sa zhodujú so súradnicami určenými prvým rastrom v katalógu. Do úvahy sa berú všetky dlaždice vstupných rastrov, pretože spracovanie sa vykoná na úplných obrázkoch.

Po výbere dlaždíc sa vytvorí vlastný nástroj MultipleRasterSplit. Toto rozdelenie obsahuje malú plochu každej pôvodnej dlaždice v závislosti od veľkosti bloku, pretože teraz musia byť všetky rastre zahrnuté do rozdelenia, aj keď je to iba malá plocha. Každý z nich sa nazýva IndividualRasterSplit a je obsiahnutý v rodičovskom nástroji MultipleRasterSplit.

Keď mapovač prijme nástroj MultipleRasterSplit, prečíta informácie o všetkých dlaždiciach rastra, ktoré sú zahrnuté v rodičovskom rozdelení, vykoná filter na výber iba pásiem uvedených používateľom a iba malej zodpovedajúcej oblasti na spracovanie v tomto konkrétnom mapovači. , a potom vykoná komplexnú operáciu viacnásobnej rastrovej algebry.

Lokalita údajov sa môže v tejto časti procesu stratiť, pretože pre jeden mapovač je zahrnutých viacero rastrov, ktoré nemusia byť v rovnakom uzle. Výsledné bajty pre každý pixel sú zasadené do kontextu, ktorý má obnoviť reduktor.

Jeden reduktor vyberá hodnoty pixelov a dáva ich dohromady. Ak ste zadali triedu spracovania reduktora, množina údajov GDAL s výstupným rastrom sa odošle do tejto triedy na analýzu a spracovanie. Zoznam dlaždíc, ktoré táto trieda dostane, je pre tento scenár nulový a trieda môže pracovať iba s množinou výstupných údajov. Ak ste vybrali výstup HDFS, zavolá sa program ImageLoader, ktorý uloží výsledok do systému HDFS. V opačnom prípade je obrázok v predvolenom nastavení pripravený pomocou GDAL a je uložený v systéme súborov (NFS).

2.5.2 Vstupné parametre

Do príkazu hadoop je možné zadať nasledujúce vstupné parametre:

  • MOSAIC_CONFIG_PATH je cesta k konfigurácii mozaiky xml, ktorá definuje vlastnosti výstupu.
  • GDAL_LIBRARIES_PATH je cesta, kde sa nachádzajú knižnice GDAL.
  • GDAL_DATA_PATH je cesta, kde sa nachádza priečinok s údajmi GDAL. Táto cesta musí byť prístupná prostredníctvom NFS pre všetky uzly v klastri.
  • IMAGE_CATALOG_PATH je cesta k katalógu xml, ktorá obsahuje zoznam obrázkov HDFS, ktoré sa majú spracovať. Je to voliteľné, pretože pomocou príznaku 𠄿ile môžete tiež určiť jeden raster, ktorý sa má spracovať.
  • USER_PROCESS_JAR_PATH je voliteľný užívateľsky definovaný súbor jar alebo zoznam súborov jar oddelených čiarkami, z ktorých každý obsahuje ďalšie triedy spracovania, ktoré sa majú použiť na zdrojové obrázky.
  • THUMBNAIL_PATH je voliteľný príznak na aktiváciu vytvárania miniatúr načítaných obrázkov. Táto cesta musí byť prístupná prostredníctvom NFS pre všetky uzly v klastri a je platná iba pre výstup HDFS.
  • USER_NATIVE_LIBRARIES_PATH je voliteľný zoznam ďalších natívnych knižníc oddelených čiarkami, ktoré sa majú použiť pri analýze. Môže to byť aj adresár obsahujúci všetky natívne knižnice, ktoré je možné načítať do aplikácie.
  • USER_PARAMETERS je voliteľný zoznam kľúč/hodnota, ktorý sa používa na definovanie vstupných údajov pre triedy spracovania používateľov. Na oddelenie parametrov použite bodkočiarku. Napríklad: azimut = 315 nadmorská výška = 45
  • SINGLE_RASTER_PATH je voliteľná cesta k súboru .ohif, ktorý bude spracovaný úlohou. Ak je toto nastavené, nemusíte nastavovať katalóg.

Nasledujúci príkaz napríklad spracuje všetky súbory uvedené v súbore katalógového súboru input.xml pomocou definície výstupu mozaiky nastavenej v súbore testFS.xml.

V predvolenom nastavení sú mapovače a reduktory nakonfigurované tak, aby získali 2 GB JVM, ale používatelia môžu toto nastavenie alebo akékoľvek iné konfiguračné vlastnosti úlohy prepísať pridaním súboru vlastností imagejob.prop do rovnakého umiestnenia priečinka, z ktorého sa príkaz vykonáva.

Aby GDAL fungoval správne, knižnice musia byť dostupné pomocou $ LD_LIBRARY_PATH. Pred vykonaním úlohy sa uistite, že je cesta k zdieľaným knižniciam v okne shellu správne nastavená. Napríklad:

2.5.2.1 Štruktúra XML katalógu

Nasleduje príklad vstupného katalógu XML, ktorý sa používa na zoznam všetkých zdrojových obrázkov považovaných za mozaikové operácie generované úlohou spracovania obrazu.

Prvok & ltcatalog & gt obsahuje zoznam prvkov & ltimage & gt, ktoré sa majú spracovať.

Každý prvok & ltimage & gt definuje zdrojový obrázok alebo zdrojový priečinok v rámci prvku & ltraster & gt. Spracujú sa všetky obrázky v priečinku.

Prvok & ltpands & gt určuje počet pásiem obrázku. Atribút datový typ má typ rastrového údaja a atribút config určuje, ktoré pásmo sa má objaviť v poradí výstupných pásiem mozaiky. Napríklad: 3,1,2 určuje, že výstupné pásmo mozaiky číslo 1 bude mať pásmo číslo 3 tohto rastra, pásmo mozaiky číslo 2 bude mať zdrojové pásmo 1 a pásmo mozaiky číslo 3 bude mať zdrojové pásmo 2. Toto poradie sa môže zmeniť od raster na raster.

Nadradená téma: Vstupné parametre

2.5.2.2 Štruktúra XML definície mozaiky

Nasleduje príklad konfigurácie XML mozaiky, ktorá sa používa na definovanie vlastností výstupu generovaného úlohou spracovania obrazu.

Prvok & ltmosaic & gt definuje špecifikácie výstupu spracovania. Atribút exec určuje, či spracovanie bude zahŕňať operáciu s mozaikou alebo nie. Ak je nastavené na „false“, operácia mozaiky sa nevykoná a spracuje sa jeden raster, ak je nastavená na „true“ alebo nie je nastavená, vykoná sa operácia s mozaikou. Niektoré z nasledujúcich prvkov sú potrebné iba pre operácie s mozaikou a pri spracovaní s jediným rastrom sa ignorujú.

Prvok & ltoutput & gt definuje funkcie, ako napríklad & ltSRID & gt, uvažované pre výstup. Všetky obrázky v rôznych SRID sú prevedené na mozaiku SRID, aby sa rozhodlo, či niektorá z jej dlaždíc zapadá do mozaiky alebo nie. Tento prvok nie je potrebný na spracovanie jedného rastra, pretože výstupný rster má rovnaký SRID ako vstup.

Prvok & ltdirectory & gt definuje, kde sa nachádza výstup. Môže to byť v HDFS alebo v bežnom FileSystem (FS), ktorý je určený v type značky.

Prvok & lttempFsFolder & gt nastavuje cestu na dočasné uloženie výstupu mozaiky. Atribút delete = ”false” je možné špecifikovať, aby zachoval výstup z procesu aj vtedy, ak bol zavádzač spustený na jeho uloženie do systému HDFS.

Prvky & ltfilename & gt a & ltformat & gt určujú výstupný názov súboru. & ltfilename & gt sa nevyžaduje pre jeden rastrový proces a ak nie je zadaný, pre vstupný súbor sa použije názov vstupného súboru (určený atribútom -file počas volania úlohy). Formát & ltformat & gt nie je potrebný na spracovanie jediným rastrom, pretože výstupný raster má rovnaký formát ako vstupný.

Prvky & ltwidth & gt a & ltheight & gt nastavujú rozlíšenie výstupu mozaiky. Nie sú potrebné na spracovanie jedného rastra, pretože výstupný raster má rovnaké rozlíšenie ako vstupný.

Prvok & ltalgorithm & gt nastavuje algoritmus poradia pre obrázky. Jedna objednávka znamená podľa dátumu poslednej úpravy zdroja a druhá objednávka podľa veľkosti obrázka. Značka objednávky predstavuje nadradený alebo podradený režim. (Tieto vlastnosti sú pre mozaikové operácie, kde sa môže viacero rastrov prekrývať.)

Element & ltpands & gt určuje počet pásiem vo výstupnej mozaike. Obrázky s menším počtom pásiem ako je tento počet sa zahodia. Atribút config je možné použiť na spracovanie jedného rastra na nastavenie konfigurácie pásma pre výstup, pretože neexistuje žiadny katalóg.

Prvok & ltnodata & gt určuje farbu v prvých troch pásmach pre všetky pixely vo výstupe mozaiky, ktoré nemajú žiadnu hodnotu.

Prvok & ltpixelType & gt nastavuje typ pixelu výstupu mozaiky. Zdrojové obrázky, ktoré nemajú rovnakú veľkosť pixelov, sa zahodia na spracovanie. This element is not required for single raster processing: if not specified, the pixel type will be the same as for the input.

The <crop> element defines the coordinates included in the mosaic output in the following order: startcoordinateX , pixelXWidth , RotationX , startcoordinateY , RotationY , and pixelheightY . This element is not required for single raster processing: if not specified, the complete image is considered for analysis.

The <process> element lists all the classes to execute before the mosaic operation.

The <classMapper> element is used for classes that will be executed during mapping phase, and the <classReducer> element is used for classes that will be executed during reduce phase. Both elements have the params attribute, where you can send input parameters to processing classes according to your needs.

The <operations> element lists all the map algebra operations that will be processed for this request. This element can also include a request for pyramid operations for example:


Abstrakt

The coastal waters of the Maltese Islands, central Mediterranean Sea, sustain a diversity of marine habitats and support a wide range of human activities. The islands’ shallow waters are characterised by a paucity of hydrographic and marine geo-environmental data, which is problematic in view of the requirements of the Maltese Islands to assess the state of their coastal waters by 2012 as part of the EU Marine Strategy Directive. Multibeam echosounder (MBES) systems are today recognised as one of the most effective tools to map the seafloor, although the quantitative characterisation of MBES data for seafloor and habitat mapping is still an underdeveloped field. The purpose of this study is to outline a semi-automated, Geographic Information System-based methodology to map the distribution of habitats in shallow coastal waters using high-resolution MBES data. What distinguishes our methodology from those proposed in previous studies is the combination of a suite of geomorphometric and textural analytical techniques to map specific types of seafloor morphologies and compositions the selection of the techniques is based on identifying which geophysical parameter would be influenced by the seabed type under consideration.

We tested our approach in a 28 km 2 area of Maltese coastal waters. Three data sets were collected from this study area: (i) MBES bathymetry and backscatter data (ii) Remotely Operated Vehicle imagery and (iii) photographs and sediment samples from dive surveys. The seabed was classified into five elementary morphological zones and features – flat and sloping zones, crests, depressions and breaks of slope – using morphometric derivatives, the Bathymetric Position Index and geomorphometric mapping. Segmentation of the study area into seagrass-covered and unvegetated seafloor was based on roughness estimation. Further subdivision of these classes into the four predominant types of composition – medium sand, maërl associated with sand and gravel, seagrass settled on sand and gravel, and seagrass settled on bedrock – was carried out through supervised classifications of morphometric derivatives of the bathymetry and textural indices of backscatter, based on information from training stations. The resulting morphologic and seabed composition maps were combined to plot the distribution of the predominant habitats in the coastal waters offshore NE Malta, some of which are of high conservation value. Ground-truthing of the habitat map using ROV imagery and dive observations confirms that our approach produces a simplified and accurate representation of seafloor habitats while using all the information available within the MBES data sets.

Hlavné body

► We outline a semi-automated method to map habitats in shallow coastal waters. ► The method is based on high resolution multibeam bathymetry and backscatter data. ► It combines morphometric and textural analyses to map morphology and composition. ► We use method to plot distribution of the predominant habitats offshore NE Malta. ► Ground-truthing with ROV and dive observations confirms validity of our approach.


Segment Images

Segmentation is the process of partitioning an image into objects by grouping neighboring pixels with common values. The objects in the image ideally correspond to real-world features. Effective segmentation ensures that classification results are more accurate.

  1. Povoľte Náhľad option in the Object Creation panel. A Preview Window appears with segments outlined in green.
  2. Pod Segment Settings, select an Algoritmus from the drop-down list provided. The following options are available:
    • Edge: Best for detecting edges of features where objects of interest have sharp edges. Set an appropriate Scale Level a Merge Level (see steps below) to effectively delineate features.
    • Intensity: Best for segmenting images with subtle gradients such as digital elevation models (DEMs) or images of electromagnetic fields. When selecting this method, don't perform any merging set the Merge Level do 0. Merging is used primarily to combine segments with similar spectral information. Elevation and other related attributes are not appropriate for merging.

See Watershed Algorithm Background for more detailed descriptions of each option.

Tip: For best segmentation results, select a combination of bands that have similar spectral ranges such as R, G, B, and NIR bands. You should not perform segmentation with a combination of custom bands (normalized difference or HSI color space) and visible/NIR bands. You can perform segmentation on the normalized difference or color space bands by themselves, but not in combination with visible and NIR bands.

  • Full Lambda Schedule: (default). Merges small segments within larger, textured areas such as trees or clouds, where over-segmentation may be a problem.
  • Fast Lambda: Merges adjacent segments with similar colors and border sizes.

See Merge Algorithms Background for more detailed descriptions of each option.


Combine overlapping rasters in gdal_calc.py, taking the maximum value from each pixel? - Geografické informačné systémy

This chapter describes advanced image processing capabilities, including GCP georeferencing, reprojection, rectification, orthorectification, warping, image scaling, stretching, filtering, masking, segmentation, NDVI computation, Tasseled Cap Transformation, image appending, bands merging, and large-scale advanced image mosaicking.

This chapter also describes the concept and application of virtual mosaic within the context of a large-scale image database and on-the-fly spatial queries over it.

The operations in this chapter are most commonly used to process geospatial images, particularly raw satellite imagery and airborne photographs. However, those operations, just like the GeoRaster raster algebra, apply to all raster data types.

This chapter contains the following major sections.


    In addition to spatial referencing capability, advanced georeferencing capabilities are available.
    Image reprojection is the process of transforming an image from one SRS (spatial reference system, or coordinate system) to another.
    Most raster data originating from remote sensors above the ground is usually subject to distortion caused by the terrain, the view angles of the instrument, and the irregular shape of the Earth. Image rectification as explained in this section is the process of transforming the images to reduce some of that distortion.
    Orthorectification is a rectification transformation process where information about the elevation, the terrain, and the shape of the Earth is used to improve the quality of the output rectified image. Oracle GeoRaster supports single image orthorectification with average height value or DEM.
    Image warping transforms an input GeoRaster object to an output GeoRaster object using the spatial reference information from a specified SDO_GEOR_SRS object.
    Affine transformation is the process of using geometric transformations of translation, scaling, rotation, shearing, and reflection on an image to produce another image.
    The color and contrast of images can be enhanced to improve their visual quality. The SDO_GEOR_IP package (“IP” for image processing) provides a set of subprograms for image enhancement, including performing image stretching, image normalization, image equalization, histogram matching, and image dodging.
    Image filtering is the process of applying a convolution filter on an image to achieve a specific purpose. For example, applying a low-pass filter on an image can smooth and reduce noise in an image, while applying a high-pass filter on an image can enhance the details of the image or even detect the edges inside the image.
    Segmentation is a simple type of classification algorithm, and can be useful in classifying certain types of images into larger ground feature categories, such as land, cloud, water, or snow.
    Image pyramiding is one of the most commonly used processes in building large-scale image databases.
    Bitmap pyramiding can produce high-quality pyramids in certain cases where traditional pyramiding is not adequate.
    In remote sensing, the Normalized Difference Vegetation Index (NDVI) is a widely used vegetation index, enabling users to quickly identify vegetated areas and monitor the growth and "condition" of plants.
    Tasseled Cap Transformation (TCT) is a useful tool for analyzing physical ground features using remotely sensed imagery.
    To perform image masking, an application can query the GeoRaster database for bitmap masks, retrieve the desired bitmap mask or masks, and apply the masking operation on the target GeoRaster object for the purpose of displaying the object or performing some other processing.
    For image classification, time series analysis, and raster GIS modeling, multiple bands or layers of different GeoRaster objects may need to be merged into a single GeoRaster object.
    You can append one image to another image when the two images have the same number of bands.
    A large geospatial area typically consists of many smaller aerial photographs or satellite images. Large-scale image mosaicking can stitch these small geospatial images into one large image to get a better view of the whole spatial area.
    A virtual mosaic treats a set of GeoRaster images as one large virtually mosaicked image.
    Serving of image and raster data to clients or applications is supported through many features of the GeoRaster PL/SQL and Java APIs.

6.1 Advanced Georeferencing

In addition to spatial referencing capability, advanced georeferencing capabilities are available.

In GeoRaster, the spatial referencing capability is called SRS (spatial reference system) or georeferencing, which may or may not be related to geography or a geospatial scheme. Georeferencing is a key feature of GeoRaster and is the foundation of spatial query and operations over geospatial image and gridded raster data. See Georeferencing for a detailed description of the SRS models.

GeoRaster supports non-geospatial images, fine art photos, and multi-dimensional arrays, which might not be associated with any coordinate system. For those images and rasters, there is generally no need for georeferencing, but most of the GeoRaster operations still work on them, such as pyramiding, scaling, subsetting, band merging, stretching, and algebraic operations. In these cases, you address the pixels (cells) using the raster's cell space coordinates (that is, row, column, and band).

You can also create a user-defined coordinate system (a new SRID) that is not related to geography, and you can use that SRID as the model coordinate system for the rasters. Then, you can spatially reference these rasters to that SRID that is, an SRS metadata component will be created for each of those rasters. Doing this causes those rasters to be spatially referenced, and thus co-located in that user-defined model coordinate system. After this is done for all related rasters, GeoRaster operations will work on those rasters as if they are georeferenced to a geographic coordinate system. For example, assume that an artist has painted a large mural on a wall, and that you want to be able to take many high-resolution photographs of different tiles of this wall and then stitch them together. You can spatially reference the tile images and then use the GeoRaster mosaicking capability to do the stitching.

If you do not define a new coordinate system, you can still co-locate the images in the cell space. That is, you can set up different ULT coordinates for the images by calling the SDO_GEOR.setULTCoordinate procedure, so that the images are aligned in the same coordinate system and then can be mosaicked.

Most geospatial image and raster files that you have are probably already georeferenced by other software tools, and thus they may come with georeferencing information. In those cases, the georeferencing information can be directly loaded with the rasters or afterward by using SDO_GEOR.importFrom, SDO_GEOR.setSRS, the GeoRaster loader tool, GDAL, or other third-party ETL tools. For more information, check GeoRaster Tools: Viewer_ Loader_ Exporter and Georeferencing GeoRaster Objects.

If a geospatial image does not have spatial reference information, you can use the GeoRaster Ground Control Point (GCP) support to georeference the image. GCPs are collected either automatically by the remote sensing system or manually afterward. For an image without GCP information, you can use a GeoRaster visualization tool to collection GCPs for the GeoRaster object. GCPs are described in Ground Control Point (GCP) Georeferencing Model.

After you have the GCPs and want to store them in the GeoRaster metadata, you can get and set the GCP-based georeferencing mode by using the SDO_GEOR.getGCPGeorefModel function and the SDO_GEOR.setGCPGeorefModel procedure. To get, set, and edit only GCPs, use the SDO_GEOR.getControlPoint function and the SDO_GEOR.setControlPoint and SDO_GEOR.deleteControlPoint procedures. The GCPs can also be stored in the GeoRaster metadata when you call SDO_GEOR.georeference.

To get and set only the geometric model, use the SDO_GEOR.getGCPGeorefMethod function and the SDO_GEOR.setGCPGeorefMethod procedure. GeoRaster also allows you to store check points ( pointType = 2), which are treated and manipulated in the same way as control points ( pointType = 1) except that check points are not used to create the SRS coefficient when SDO_GEOR.georeference is called with the GCPs.

If you have ground control points (GCPs) that are either stored in the GeoRaster object or not, and if you want to calculate the functional fitting georeferencing model, you can call the SDO_GEOR.georeference procedure to find the solution. The functional fitting georeferencing model stores all coefficients in the GeoRaster SRS and enables the coordinate transformations between cell space and model space. To generate the functional fitting georeferencing model using GCP, you must specify an appropriate geometric model. The specific geometric models supported by SDO_GEOR.georeference are Affine Transformation, Quadratic Polynomial, Cubic Polynomial, DLT, Quadratic Rational, and RPC. These models are described in Functional Fitting Georeferencing Model.

Example 6-1 Setting Up the GCP Georeferencing Model

For example, if you have a Landsat image in a plain area and want to georeference it, you might choose the Quadratic Polynomial geometric model. For that purpose, assuming you have collected 9 GCPs (at least 6 GCPs in this case) and 3 check points, you can set up the GCPs and store them in the GeoRaster's metadata using the code in Example 6-1.

Example 6-2 Generating the Functional Fitting Model Using GCPs

After using the code in Example 6-1, you can generate the functional fitting model coefficients by using the code in Example 6-2.

The steps in Example 6-1 and Example 6-2 can be combined without the need to pre-set the GCPs into the GeoRaster object's metadata (see the example for SDO_GEOR.georeference in SDO_GEOR Package Reference). The returned value array of SDO_GEOR.georeference in Example 6-2 contains RMS values and residuals for each GCP. Using these, you can examine the solution accuracy and identify erratic GCPs. If the accuracy is not satisfactory, recheck all GCPs to make sure they are accurate and add more GCPs as necessary, and then run the script or scripts again.

The GCP support in GeoRaster enables you to spatially reference any non -geospatial images and rasters also.

After geospatial images are georeferenced, you can process those images, such as applying rectification, reprojection, and mosaicking, and spatially querying and subsetting the rasters using geometry polygons in different coordinate systems.


4 Modeling the uncertainty of occurrence data

Random noise was injected into the synthetically created occurrence locations by randomly altering the original occurrence locations by a standard deviation of 1% (10 units). We assumed that the study area is a small region that is 1 km in each direction and contains a microhabitat similar to the one modeled in the previous section. In this case, a standard deviation of 1% would be equivalent to 10 m, which is typical for a handheld GPS (USDOD, 2008 Wing et al., 2005 ). The model was run 100 times and resulted in a mean AIC of 26,423 with a standard deviation of 14. The mean AUC value was 0.78 with a standard deviation of less than 0.001. HEMI 2 also produces maps of the standard deviation (Figure 9) and response curves showing the mean, minimum, maximum, and confidence intervals (Figure 10). The maps can be used to evaluate the spatial distribution of high or low confidence within our models, while the response curves characterize the variance within our models for each environmental variable.

HEMI 2 produced histograms of the AIC and AUC values and graphs of the cumulative mean value for AIC and AUC (Figure 11) for all model runs. The histograms should approach a normal distribution when sufficient runs have been completed and the cumulative AIC and AUC curves should show that these values are stabilizing over time. The histograms and performance metrics for each run are available on the HEMI 2 Web site (http://gsp.humboldt.edu/HEMI2 ) .


4. DISKUSIA

Although SEEMs increase model accuracy over continental scales (Fink et al., 2013, 2010 ), our study found their performance differed by species and predictor resolution even in a state with variable climate and diverse ecoregions. Two species were often better represented by SEEMs, suggesting their distributional processes may vary regionally. There were few obvious commonalities among these species that would lead to SEEMs being more accurate for them. One species is nonpasserine (Northern Bobwhite), and the other is a common grassland passerine (Western Meadowlark). Two species were always better with statewide models (Brown-headed Cowbird and Dickcissel). The cowbird is strongly dependent on habitat structure (Benson et al., 2013 Bernath-Plaisted, Nenninger, & Koper, 2017 ), but these variables are not what is measured by the predictor layers that we used. Dickcissel is known for its semi-nomadic movement patterns (Temple, 2017 ) as such, neither species may be as dependent on local climatic variation mapped by the BioClim predictor inputs. The inconsistencies in the remainder of the species suggest that a larger sample of species and predictor resolutions is needed to compare why models are appropriate for given situations. On our original models, the predictors are consistently finer-scaled (30 m) than some, but not all, response location data (ranging from exact point count locations to aggregate sightings along a 4.3 km transect). However, Fink et al. ( 2010 ) used transects almost twice as long as ours (up to 8.1 vs. 4.3 km) with 30 m resolution predictor data, so that should not account for differences between our results.

A potential mechanism for variation between species includes whether species’ distributions depend more upon bioclimatic versus ecological variables, as bioclimatic variables should change more smoothly over a larger area (potentially reducing the need for adaptive local models). It could also be that species-specific processes determine whether SEEMs are required. However, one benefit of random forest models and other machine learning methods is minimal tuning and expert opinion required to generate an accurate map (Fink et al., 2010 ). Requiring researchers to choose spatial scale based on expert opinion of variable importance negates this benefit. However, the fact that most species showed different model performance based on whether we used fine or coarse predictor resolution suggests that model performance depends at least partially on dataset resolutions. Researchers who suspect that a SEE model is appropriate for their dataset and system can compare a small number of base models for different regions or times and see if relationships vary among the test models.

An alternative approach for modelers seeking increased accuracy is the use of nonspatially explicit ensemble models, where different base models (predicting for the whole study area) are combined to produce a single prediction map (Araújo & New, 2007 Oppel et al., 2012 ). We recommend this approach as more efficient for regional managers. Multiple maps will still be generated for the whole study area (n = number of base models used), but typically fewer than the number of support sets created in a SEEM or STEM. These types of ensembles are known to increase accuracy relative to a single base model (Araujo & New 2007 Oppel et al., 2012 ). Although large-scale solutions to conserve grasslands are needed (Samson et al., 2004 ), local and regional conservation and management efforts also have critical impacts (Brennan et al., 2005 ). We expected that SEEMs would be most accurate and therefore relevant to wildlife management in this state with diverse ecotypes that occur at scales larger than predictors but smaller than our study region. However, based on our study, we recommend that when using a single base model type, all distribution model types should be run (statewide and at least one or more scales of SEEM) if computing capacity is available.


A Review of Satellite Remote Sensing Techniques of River Delta Morphology Change

River deltas are important coastal depositional systems that are home to almost half a billion people worldwide. Understanding morphology changes in deltas is important in identifying vulnerabilities to natural disasters and improving sustainable planning and management. In this paper, we critically review literature on satellite remote sensing techniques that were used to study delta morphology changes. We identify and categorize these techniques into 3 major classes: (1) one-step change detection, 2) two-step change detection, and (3) ensemble classifications. In total, we offer a review of 18 techniques with example studies, and strengths and caveats of each. Synthesis of literature reveals that sub-pixel-based algorithms perform better than pixel-based ones. Machine learning techniques rank second to sub-pixel techniques, although an ensemble of techniques can be used just as effectively to achieve high feature detection accuracies. We also evaluate the performance of the 7 most commonly used techniques in literature on a sample of global deltas. Findings show the unsupervised classification significantly outperforms the others, and is recommended as a first-order delta morphological feature extraction technique in previously unknown, or, data sparse deltaic territories. We propose four pathways for future advancement delta morphological remote sensing: (1) utilizing high-resolution imagery and development of more efficient data mining techniques, (2) moving toward universal applicability of algorithms and their transferability across satellite platforms, (3) use of ancillary data in image processing algorithms, and (4) development of a global-scale repository of deltaic data for the sharing of scientific knowledge across disciplines.


Landslide susceptibility mapping in and around Mussoorie Township using fuzzy set procedure, MamLand and improved fuzzy expert system-A comparative study

A landslide susceptibility map (LSM) is an imperative element in the planning of sustainable development practices and geo-environmental conservations in mountainous terrains. In recent times, approaches that couple soft computing techniques and Geographic Information System (GIS) has emerged as better-suited models that can diminish the flaws and limitations of heuristic, probabilistic and distribution approaches in landslide susceptibility mapping. This paper presents an improved fuzzy expert system (FES) model, a fusion of Mamdani fuzzy inference system (Mamdani-FIS) and frequency ratio method for GIS-based landslide susceptibility mapping. The improved FES model has been applied for mesoscale (1:15,000) landslide susceptibility mapping of Mussoorie Township, Uttarakhand, India, along with conventional fuzzy set procedure (FSP) and an existing FES model, MamLand. The LSMs generated through different procedures have been validated and compared by means of spatial distribution of susceptibility zones and statistical analysis with the help of landslide inventory. The validation and comparative analysis have indicated the significantly better performance of the improved FES model over FSP and MamLand.

Toto je ukážka obsahu predplatného, ​​ku ktorému máte prístup prostredníctvom svojej inštitúcie.


2.2 Oracle Big Data Vector and Raster Data Processing

Oracle Big Data Spatial and Graph supports the storage and processing of both vector and raster spatial data.

2.2.1 Oracle Big Data Spatial Raster Data Processing

For processing the raster data, the GDAL loader loads the raster spatial data or images onto a HDFS environment. The following basic operations can be performed on a raster spatial data:

Mosaic: Combine multiple raster images to create a single mosaic image.

Subset: Perform subset operations on individual images.

Raster algebra operations: Perform algebra operations on every pixel in the rasters (for example, add, divide, multiply, log, pow, sine, sinh, and acos).

User-specified processing: Raster processing is based on the classes that user sets to be executed in mapping and reducing phases.

This feature supports a MapReduce framework for raster analysis operations. The users have the ability to custom-build their own raster operations, such as performing an algebraic function on a raster data and so on. For example, calculate the slope at each base of a digital elevation model or a 3D representation of a spatial surface, such as a terrain. For details, see Oracle Big Data Spatial Hadoop Image Processing Framework for Raster Data Processing.

2.2.2 Oracle Big Data Spatial Vector Data Processing

This feature supports the processing of spatial vector data:

Loaded and stored on to a Hadoop HDFS environment

Stored either as Cartesian or geodetic data

The stored spatial vector data can be used for performing the following query operations and more:

Sevetal data service operations are supported for the spatial vector data:

In addition, there is a limited Map Visualization API support for only the HTML5 format. You can access these APIs to create custom operations. For details, see "Oracle Big Data Spatial Vector Analysis."


Poďakovanie

The authors of this study appreciate the geology post-graduation program of Universidade Federal de Minas Gerais, Brazil ICMBIO/CECAV (Chico Mendes Institute for Biodiversity Conservation/Brazilian National Center for Research and Conservation of Caves) for financial support and M. Antonieta Mourão for constructive criticism, comments and suggestions.

Financovanie

Funding was provided by GERDAU/ICG/GEO/PAN CAVERNAS DO SÃO FRANCISCO (Grand No. 22317).


Pozri si video: GDAL Tutorial #3: Raster calculation (Október 2021).