OSGeo - User contributions [en]

Darko Boto

2013-09-01T08:08:07Z

Wiki-Darko:

== Presentations / Diagrams ==

*[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

*[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mind map]

*[http://www.gliffy.com/go/publish/2004681 FOSS GIS Stack SW Diagram]

*[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

*[http://www.slideshare.net/darkoboto/geoprocesiranje-u-oblaku GDAL/OGR - Geoprocessing in the Cloud]

*[http://www.slideshare.net/darkoboto/mrezni-servisi-zipp Open Your Data - Network Services ZIPP]

== Articles - [http://hr.osgeo.hr Croatian OSGEO Local Chapter] ==

*[http://wiki.osgeo.org/wiki/Croatia/Kratki_vodici/GDAL_OSM_driver_-_kako_do_dnevno_svjezih_osm_podataka GDAL/OGR - Kako do dnevno svježih OSM podataka]

*[http://hr.osgeo.org/vijesti/osvojena-druga-nagrada-na-natjecaju-za-najbolju-vizualizaciju-podataka-javne-nabave Javna nabava - Osvojena druga nagrada na natječaju za najbolju vizualizaciju podataka javne nabave]

*[http://hr.osgeo.org/vijesti/foss4g-2010-barcelona FOSS4G 2010 Barcelona]

*[http://hr.osgeo.org/vijesti/tri-funkcionalna-zahtjeva-gis Tri funkcionalna zahtjeva GIS-a]

*[http://hr.osgeo.org/vijesti/proj4j-i-geomajas News - Proj4 i GeoMajas]

== INSPIRE ([http://inspire.jrc.ec.europa.eu/ Infrastructure for Spatial Information in the European Community]) ==

*[http://www.nipp.hr/default.aspx?id=141 Workgroup for NSDI technical standards]

*[http://www.nipp.hr/default.aspx?id=143 Workgroup for NSDI capacity building]

== FOSS projects ==

*[https://github.com/dboto/our-project GeoJSON Server - NodeJs/Express/PostgreSQL/PostGIS]
* Python GEO sripts

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Darko Boto

2013-09-01T08:07:17Z

Wiki-Darko:

== Presentations / Diagrams ==

*[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

*[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mind map]

*[http://www.gliffy.com/go/publish/2004681 FOSS GIS Stack SW Diagram]

*[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

*[http://www.slideshare.net/darkoboto/geoprocesiranje-u-oblaku GDAL/OGR - Geoprocessing in the Cloud]

*[http://www.slideshare.net/darkoboto/mrezni-servisi-zipp Open Your Data - Network Services ZIPP]

== Articles - [http://hr.osgeo.hr Croatian OSGEO Local Chapter] ==

*[http://wiki.osgeo.org/wiki/Croatia/Kratki_vodici/GDAL_OSM_driver_-_kako_do_dnevno_svjezih_osm_podataka GDAL/OGR - Kako do dnevno svježih OSM podataka]

*[http://hr.osgeo.org/vijesti/osvojena-druga-nagrada-na-natjecaju-za-najbolju-vizualizaciju-podataka-javne-nabave Javna nabava - Osvojena druga nagrada na natječaju za najbolju vizualizaciju podataka javne nabave]

*[http://hr.osgeo.org/vijesti/foss4g-2010-barcelona FOSS4G 2010 Barcelona]

*[http://hr.osgeo.org/vijesti/tri-funkcionalna-zahtjeva-gis Tri funkcionalna zahtjeva GIS-a]

*[http://hr.osgeo.org/vijesti/proj4j-i-geomajas News - Proj4 i GeoMajas]

== INSPIRE ([http://inspire.jrc.ec.europa.eu/ Infrastructure for Spatial Information in the European Community]) ==

*[http://www.nipp.hr/default.aspx?id=141 Workgroup for NSDI technical standards]

*[http://www.nipp.hr/default.aspx?id=143 Workgroup for NSDI capacity building]

== FOSS project ==

*[https://github.com/dboto/our-project GeoJSON Server - NodeJs/Express/PostgreSQL/PostGIS]

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Darko Boto

2013-08-29T08:20:18Z

Wiki-Darko:

== Presentations / Diagrams ==

*[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

*[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mind map]

*[http://www.gliffy.com/go/publish/2004681 FOSS GIS Stack SW Diagram]

*[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

*[http://www.slideshare.net/darkoboto/geoprocesiranje-u-oblaku GDAL/OGR - Geoprocessing in the Cloud]

*[http://www.slideshare.net/darkoboto/mrezni-servisi-zipp Open Your Data - Network Services ZIPP]

== Articles - [http://hr.osgeo.hr Croatian OSGEO Local Chapter] ==

*[http://wiki.osgeo.org/wiki/Croatia/Kratki_vodici/GDAL_OSM_driver_-_kako_do_dnevno_svjezih_osm_podataka GDAL/OGR - Kako do dnevno svježih OSM podataka]

*[http://hr.osgeo.org/vijesti/osvojena-druga-nagrada-na-natjecaju-za-najbolju-vizualizaciju-podataka-javne-nabave Javna nabava - Osvojena druga nagrada na natječaju za najbolju vizualizaciju podataka javne nabave]

*[http://hr.osgeo.org/vijesti/foss4g-2010-barcelona FOSS4G 2010 Barcelona]

*[http://hr.osgeo.org/vijesti/tri-funkcionalna-zahtjeva-gis Tri funkcionalna zahtjeva GIS-a]

*[http://hr.osgeo.org/vijesti/proj4j-i-geomajas News - Proj4 i GeoMajas]

== INSPIRE ([http://inspire.jrc.ec.europa.eu/ Infrastructure for Spatial Information in the European Community]) ==

*[http://www.nipp.hr/default.aspx?id=141 Workgroup for NSDI technical standards]

*[http://www.nipp.hr/default.aspx?id=143 Workgroup for NSDI capacity building]

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Darko Boto

2013-08-29T08:18:42Z

Wiki-Darko:

== Presentations / Diagrams ==

*[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

*[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mind map]

*[http://www.gliffy.com/go/publish/2004681 FOSS GIS Stack SW Diagram]

*[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

*[http://www.slideshare.net/darkoboto/geoprocesiranje-u-oblaku GDAL/OGR - Geoprocessing in the Cloud]

*[http://www.slideshare.net/darkoboto/mrezni-servisi-zipp Open Your Data - Network Services ZIPP]

== Articles - [http://hr.osgeo.hr Croatian OSGEO Local Chapter] ==

*[http://wiki.osgeo.org/wiki/Croatia/Kratki_vodici/GDAL_OSM_driver_-_kako_do_dnevno_svjezih_osm_podataka GDAL/OGR - Kako do dnevno svježih OSM podataka]

*[http://hr.osgeo.org/vijesti/osvojena-druga-nagrada-na-natjecaju-za-najbolju-vizualizaciju-podataka-javne-nabave Javna nabava - Osvojena druga nagrada na natječaju za najbolju vizualizaciju podataka javne nabave]

*[http://hr.osgeo.org/vijesti/foss4g-2010-barcelona FOSS4G 2010 Barcelona]

*[http://hr.osgeo.org/vijesti/tri-funkcionalna-zahtjeva-gis Tri funkcionalna zahtjeva GIS-a]

*[http://hr.osgeo.org/vijesti/proj4j-i-geomajas News - Proj4 i GeoMajas]

== [http://inspire.jrc.ec.europa.eu/ INSPIRE] (Infrastructure for Spatial Information in the European Community) ==

*[http://www.nipp.hr/default.aspx?id=141 Workgroup for NSDI technical standards]

*[http://www.nipp.hr/default.aspx?id=143 Workgroup for NSDI capacity building]

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Darko Boto

2013-08-29T08:12:12Z

Wiki-Darko:

== Presentations / Diagrams ==

*[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

*[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mind map]

*[http://www.gliffy.com/go/publish/2004681 FOSS GIS Stack SW Diagram]

*[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

*[http://www.slideshare.net/darkoboto/geoprocesiranje-u-oblaku GDAL/OGR - Geoprocessing in the Cloud]

*[http://www.slideshare.net/darkoboto/mrezni-servisi-zipp Open Your Data - Network Services ZIPP]

== Articles (Croatian) - [http://hr.osgeo.hr Croatian OSGEO Local Chapter] ==

*[http://wiki.osgeo.org/wiki/Croatia/Kratki_vodici/GDAL_OSM_driver_-_kako_do_dnevno_svjezih_osm_podataka GDAL/OGR - Kako do dnevno svježih OSM podataka]

*[http://hr.osgeo.org/vijesti/osvojena-druga-nagrada-na-natjecaju-za-najbolju-vizualizaciju-podataka-javne-nabave Javna nabava - Osvojena druga nagrada na natječaju za najbolju vizualizaciju podataka javne nabave]

*[http://hr.osgeo.org/vijesti/foss4g-2010-barcelona FOSS4G 2010 Barcelona]

*[http://hr.osgeo.org/vijesti/tri-funkcionalna-zahtjeva-gis Tri funkcionalna zahtjeva GIS-a]

*[http://hr.osgeo.org/vijesti/proj4j-i-geomajas News - Proj4 i GeoMajas]

== [http://inspire.jrc.ec.europa.eu/ INSPIRE] (Infrastructure for Spatial Information in the European Community) ==

*[http://www.nipp.hr/default.aspx?id=141 Workgroup for NSDI technical standards]

*[http://www.nipp.hr/default.aspx?id=143 Workgroup for NSDI capacity building]

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Darko Boto

2013-08-29T07:58:36Z

Wiki-Darko:

Darko Boto

2013-08-29T07:57:44Z

Wiki-Darko:

Darko Boto

2013-08-28T09:17:59Z

Wiki-Darko:

[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mindmeister map]

[http://www.gliffy.com/go/publish/2004681 FOSS GIS Stack SW Diagram]

[http://hr.osgeo.hr Croatian OSGEO Local Chapter]

[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Darko Boto

2013-08-28T08:40:32Z

Wiki-Darko:

[http://www.slideshare.net/darkoboto/gdalprocessing CLI Geoprocessing GDAL/OGR - DORSC/CLUC 2010 Workshop]

[http://www.mindmeister.com/maps/show/42843383 FOSS GIS Stack - Mindmeister map]

[http://wiki.razmjenavjestina.org/images/6/6f/FOSSGIS_v05.png FOSS GIS Stack SW Diagram]

[http://hr.osgeo.hr Croatian OSGEO Local Chapter]

[http://www.slideshare.net/darkoboto/open-datastrategy PSI directive and Open Data Strategy]

{{#umAdmin: Darko Boto}}
{{#umSetParam: 15.983333|45.816667|Zagreb, Croatia|Darko|Darko Boto}}
{{#umUserMap: Darko|600px|420px|7|2}}
[[Category: Croatia]]
[[Category: OSGeo Member]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-17T10:55:24Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke koristeći filtere.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd ~/bin/gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

Još jedna napomena prije primjera: konfiguracijska datoteka (osmconf.ini)koju GDAL/OGR koristi za OSM podatke se nalazi u share/gdal/ i po defaultu nije baš korisno konfigurirana pa ju prvo pogledajte i definirajte atribute koje želite exportati iz OSM podatka.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-03T20:35:25Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke koristeći filtere.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd ~/bin/gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

Još jedna napomena prije primjera: konfiguracijska datoteka (osmconf.ini)koju GDAL/OGR koristi za OSM podatke se nalazi u share/gdal/ i po defaultu nije baš korisno konfigurirana pa ju prvo pogledajte i definirajte atribute koje želite exportati iz OSM podatka.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-03T20:14:56Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke koristeći filtere.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

Još jedna napomena prije primjera: konfiguracijska datoteka (osmconf.ini)koju GDAL/OGR koristi za OSM podatke se nalazi u share/gdal/ i po defaultu nije baš korisno konfigurirana pa ju prvo pogledajte i definirajte atribute koje želite exportati iz OSM podatka.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-03T20:10:22Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

Još jedna napomena prije primjera: konfiguracijska datoteka (osmconf.ini)koju GDAL/OGR koristi za OSM podatke se nalazi u share/gdal/ i po defaultu nije baš korisno konfigurirana pa ju prvo pogledajte i definirajte atribute koje želite exportati iz OSM podatka.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
$./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-03T15:11:41Z

Wiki-Darko: /* Druge opcije */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

Još jedna napomena prije primjera: konfiguracijska datoteka (osmconf.ini)koju GDAL/OGR koristi za OSM podatke se nalazi u share/gdal/ i po defaultu nije baš korisno konfigurirana pa ju prvo pogledajte i definirajte atribute koje želite exportati iz OSM podatka.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-03T15:07:57Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:41:37Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:40:53Z

Wiki-Darko: /* Export sa ugrađenim SQL-om */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:36:26Z

Wiki-Darko: /* Export jednog ili više layera */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije (points, multilinestrings, multiplygons). Ukoliko želite exportati samo neke layer-e (za ovaj primjer layer points) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:34:28Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je ogr2ogr naredbu staviti u [http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ crontab].

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:24:26Z

Wiki-Darko: /* Kompajliranje GDAL-a */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$cd gdal_1.10
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:23:00Z

Wiki-Darko: /* Preuzimanje GDAL izvornog koda */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje GDAL izvornog koda direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:16:54Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

[[File:osm2sqlite.png|800px|left|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:15:48Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T14:04:18Z

Wiki-Darko: /* Export sa ugrađenim SQL-om */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T13:59:08Z

Wiki-Darko: /* Export sa ugrađenim SQL-om */

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koja su ovisno o broju stanovnika različito tagirana u OSM bazi kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T13:57:41Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

'''Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje!'''

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koji su različito tagirani u OSM podacima kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR u SQL izrazima podržava JOIN-e, UNION, ORDER, operatore, neke osnovne funkcije itd... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T13:51:51Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju. Na primjer ukoliko želite exportati sva "naselja" koji su različito tagirani u OSM podacima kao town, hamlet, vilage.. i sl. takav kompleksniji filter možete postaviti ugrađivanjem sql statementa u ogr2ogr naredbu:

<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
/home/dboto/Downloads/20130328-croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

U OGR podržava JOIN-e u SQL izrazima, UNION, ORDER, operatore, neke osnovne funkcije... u svakom slučaju pogledati [http://www.gdal.org/ogr/ogr_sql.html OGR SQL dokumentaciju]

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-02T13:28:32Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Export sa ugrađenim SQL-om ===

Za malo kompleksnije SQL upite od gornjeg primjera koristite -sql opciju npr:
<pre>
$./ogr2ogr -f SQLite -dsco spatialite=yes \
-sql "SELECT * FROM points WHERE place IN ('state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality')" \
/tmp/osm_daily_stream3.sqlite \
/home/dboto/Downloads/20130328-croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-01T23:54:39Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima u svojoj bazi imati dnevno ažurne OSM podatke(alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]). No nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-01T23:52:40Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite]) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima (alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]) u svojoj bazi imati dnevno ažurne OSM podatke, no nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-01T23:03:50Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite}) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima (alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]) u svojoj bazi imati dnevno ažurne OSM podatke, no nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-01T23:02:25Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite}) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima (alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]) u svojoj bazi imati dnevno ažurne OSM podatke, no nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

Sada ogrinfo pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-01T23:01:37Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite}) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima (alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]) u svojoj bazi imati dnevno ažurne OSM podatke, no nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

OGR pokazuje samo jedan layer u bazi (points)
<pre>
$./ogrinfo /tmp/osm_daily_stream.sqlite
INFO: Open of `/tmp/osm_daily_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
</pre>

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-04-01T22:58:23Z

Wiki-Darko:

[[Category:Croatia/Kratki_vodici|G]]

= GDAL OSM driver - kako do dnevno svježih OSM podataka =

Za [http://www.gdal.org/ GDAL] bilioteku u verziji 1.10 je najavljen [http://www.gdal.org/ogr/drv_osm.html driver za OSM] podatke (tj. podrška za [http://wiki.openstreetmap.org/wiki/OSM_XML .osm xml] i [http://wiki.openstreetmap.org/wiki/PBF_Format .pbf] datoteke) što će omogućiti brzu i jednostavnu konverziju OSM podataka u bilo koji drugi [http://www.gdal.org/ogr/ogr_formats.html GIS format podržan od OGR-a] (ogr2ogr). Za testiranje drivera napravljen je primjer preuzimanja dnevnog exporta OSM podataka i konverzija u prostornu SQLite bazu ([https://www.gaia-gis.it/fossil/libspatialite/index spatialite}) spremnu za korištenje s desktop GIS aplikacijama (npr. QGIS) ili eventualno za web aplikacije koje koriste ove podatke a važna im je ažurnost na dnevnoj bazi.

Lokalna OSM zajednica još od 2009 god. čuva arhivu [http://data.osm-hr.org/croatia/ dnevnih exporta OSM] podataka za područje RH (hvala Hrvoju B.) te je i prije bilo moguće s drugim alatima (alati oko PostgreSQL-a: [https://github.com/openstreetmap/osm2pgsql osm2pgsql], [http://wiki.openstreetmap.org/wiki/Osmosis osmosis] i [http://imposm.org/docs/imposm/latest/ imposm] ili za Sqlite [https://www.gaia-gis.it/fossil/spatialite-tools/index spatialite-tool]) u svojoj bazi imati dnevno ažurne OSM podatke, no nama koji GDAL/OGR često koristimo, zbog velike mogućnosti manipulacije podacima, skriptanja i python bindinga, zgodno je imati i ovu mogućnost unutar tog alata.

U sljedećem tekstu su upute kako pripremiti GDAL/OGR biblioteku za konverziju iz .osm ili .pbf formata u .sqlite, te na koji način dohvaćati dnevno svježe openstreetmap podatke.

Koraci:

# Instalacija dependency-ja
# Preuzimanje GDAL izvornog koda
# Kompajliranje GDAL-a
# Čitanje pbf datoteke i konverzija u SQLite
# Druge opcije

== Instalacija dependency-ja (Ubuntu 12.04.2 LTS)==

U primjeru OSM export konvertiramo u SQLite (tj. Spatialite) pa je prvo potrebno instalirati sve što je potrebno za kompajliranje a onda i biblioteke koje su potrebne GDAL-u za konverziju:

<pre>
$sudo apt-get install build-essential
$sudo apt-get install spatialite-bin expat curl sqlite3 libgeos-3.3.3
</pre>

# [http://www.gaia-gis.it/gaia-sins/ spatialite] je prostorna extenzija za SQLite bazu
# [http://curl.haxx.se/ curl] nam omogućava čitanje podataka preko mreže kako ih nebi morali svaki put preuzimati na svoje računalo
# [http://expat.sourceforge.net/ expat] je c biblioteka za parsanje xml datoteka. Nije obvezno - potrebna je za parsanje .osm datoteke
# [http://trac.osgeo.org/geos/ geos] - Nije obvezan ali potreban je zbog prostornog upita

Kako bi se GDAL kompajlirao sa ovim bibliotekama potrebno je na Ubuntu instalirati i njihove -dev pakete

<pre>
$sudo apt-get install libcurl4-gnutls-dev libexpat1-dev libspatialite-dev libsqlite3-dev libgeos-dev
</pre>

== Preuzimanje GDAL izvornog koda ==

Preuzimanje i raspakiravanje [http://www.gdal.org/daily/ nightly snapshot-a] GDAL biblioteke

<pre>
$curl http://www.gdal.org/daily/gdal-svn-trunk-2013.03.30.tar.gz | tar xvz
</pre>

ili još bolje direktno iz svn trunk-a (driver za osm je trenutno u trunk-u)

<pre>
$svn checkout https://svn.osgeo.org/gdal/trunk/gdal gdal_1.10
</pre>

== Kompajliranje GDAL-a ==

Kod kompajliranja GDAL-a treba explicitno uključiti podršku za curl, spatialite i geos (--with), koji zbog dependency-ja nisu uključeni u defaultni build. Instalacija je napravljena lokalno u $HOME/bin/gdal_1.10 direktorij (--prefix).

<pre>
$./configure --prefix=$HOME/bin/gdal_1.10 --with-spatialite=yes --with-curl=yes --with-geos=yes
$make
$make install
</pre>

== Čitanje pbf datoteke i konverzija u SQLite ==

Pomoću ogr2ogr alata dohvaćaju se podaci i loadaju u SQLite bazu.
<pre>
$cd ~/bin/gdal_1.10/bin
$./ogr2ogr -f SQLite -dsco spatialite=yes
/tmp/osm_daily_stream.sqlite \
/vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf \
--config OSM_CONFIG_FILE $HOME/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

gdje je:

# '''-f SQLite''' - output format će biti SQLite baza
# '''-dsco spatialite=yes''' - datoteka će imati podršku za prostorne podatke (bez ove opcije geometriju neće moći čitati GIS alati ali će se podaci loadati).
# '''/vsicurl_streaming/''' - pbf datoteka se čita preko mreže pomoću curl-a
# '''OSM_CONFIG_FILE''' - GDAL nakon kompajliranja nije znao pronaći osmconf.ini datoteku te je na ovaj način direktno postavljen path do datoteke

Nakon toga ogr2ogr kreira osm_daily_stream.sqlite datoteku u kojem su podaci organizirani po tipu geometrije (slično kako to napravi osm2pgsql).

[[File:osm2sqlite.png|390px|thumb|Prikaz OSM podataka is SQLite baze u QGIS-u]]

Provjerom ogrinfo ispravno očitava osm_daily_stream.sqlite datoteku:
<pre>
/tmp/:$ogrinfo osm_stream.sqlite
INFO: Open of `osm_stream.sqlite'
using driver `SQLite' successful.
1: points (3D Point)
2: lines (3D Line String)
3: multilinestrings (3D Multi Line String)
4: multipolygons (3D Multi Polygon)
5: other_relations (3D Geometry Collection)
</pre>

== Druge opcije ==

Ovaj driver nam omogućuje da npr. OSM podatke loadamo direktno u PostgreSQL, MySQL, MSSQL, Oracle Spatial, ArcSDE ili bilo koji od [http://www.gdal.org/ogr/ogr_formats.html OGR-a podržan format], a također je jako korisna mogućnost (iz osm.hr arhive) preuzimanja samo dnevnih promijena, te koristeći --append --update opcije u bazu loadati samo preuzete promjene. Možete koristiti i ogr2ogr sql_statement (-sql) pa exportati samo dio podataka koji vam trebaju, ili exportati samo OSM POI-e ili samo POI-e unutar nekog BBOX-a i sl. drugim riječima sav svemir manipulacije prostornim podacima koji nam otvara GDAL/OGR.

Ukoliko želite eksperimentirati sa ogr2ogr, pbf datoteku preuzmite na svoje računalo jer ćete bitno ubrzati izvršavanje.

=== Export jednog ili više layera ===

U gornjem primjeru kreirana SQLite baza je imala 5 tablica (layera) ovisno o tipu geometrije. Ukoliko želite exportati samo neke layer-e (points, lines...) dovoljno je iza navoda ulazne datoteke dodati ime layera kojeg želite exportati.

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će kao rezultat u SQLite bazu loadati samo OSM POI-e.

=== Export sa "where" uvjetom ===

Za filtriranje exporta po bilo kojoj vrijednosti atributa možete koristiti -where opciju:

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
/tmp/osm_daily_stream_P.sqlite
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
-where "amenity='school'" \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz sloja "points" loadati samo objekte za koje je vrijednost atributa "amenity=school" tj. dobit ćemo samo podatke o školama.

=== Prostorni upit "-spat" ===

OGR ima više "clip" opcija, ali za jednostavni prostorni upit dovoljno je definirati BBOX tj. extent unutar kojeg želite dohvatiti podatke.
U primjeru je uzet BBOX za Zagreb (xmin ymin xmax ymax).

<pre>
./ogr2ogr -overwrite -f SQLite -dsco spatialite=yes \
-spat 15.926055908203125 45.78859428734741 16.035919189453125 45.82742366876799 \
/tmp/osm_daily_stream_P.sqlite \
vsicurl_streaming/http://data.osm-hr.org/croatia.osm.pbf points \
--config OSM_CONFIG_FILE $HOME/doc/bin/gdal_1.10/share/gdal/osmconf.ini -progress
</pre>

Naredba će iz layera "points" exportati samo objekte koji se nalaze unutar specificiranog područja (intersects).

'''Za one koje interesira više obavezno pogledati što sve nudi [http://www.gdal.org/ogr2ogr.html ogr2ogr] alat.'''

Za automatizaciju ovog procesa dohvaćanja i loada podataka dovoljno je gornju ogr2ogr naredbu staviti u cron.

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-31T10:48:47Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-31T10:42:16Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:56:57Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:56:19Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:54:22Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:53:19Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:50:23Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:49:17Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:46:41Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:45:46Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:38:44Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:34:00Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:28:08Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:26:31Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:25:27Z

Wiki-Darko:

Croatia/Kratki vodici/GDAL OSM driver - kako do dnevno svjezih osm podataka

2013-03-30T23:22:14Z

Wiki-Darko: