[Talk-cz] Geofabrik chybějící data
Vlákno 21.8. - 2.9.2020, počet zpráv: 9
Ahoj,
strašně dlouho jsem sem nepsal a bohužel nemám dobré zprávy. Data na Geofabrik jsou nejspíš rozbitá, viz https://poloha.net/content/geofabrik-chybejici-data a proto na poloha.net se OSM data momentálně neaktualizují.
Pokud o tom někdo něco tuší, dejte vědět.
Díky.
--
Petr, petr na vejsada.net
zobrazit citaci
>p<
Ahoj,
Geofabrik píše (1:44 PM · Aug 15, 2020 :
https://mobile.twitter.com/geofabrik/status/1294600772852813826 ):
"Hiccup on the download server - no updates last night. Catching up now."
Takže buď je to podruhé týž bug, nebo ta inkonzistence vznikla už 15.
Ze kdy jsou ty chybějící nody?
Zdar,
Honza Piškvor Martinec
Dne pá 21. 8. 2020 14:37 uživatel Petr Vejsada <osm na propsychology.cz>
napsal:
zobrazit citaci
> Ahoj,
>
> strašně dlouho jsem sem nepsal a bohužel nemám dobré zprávy. Data na
> Geofabrik jsou nejspíš rozbitá, viz
> https://poloha.net/content/geofabrik-chybejici-data a proto na poloha.net
> se OSM data momentálně neaktualizují.
>
> Pokud o tom někdo něco tuší, dejte vědět.
>
> Díky.
>
> --
> Petr, petr na vejsada.net
> >p<
>
> _______________________________________________
> talk-cz mailing list
> talk-cz na openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cz
> https://openstreetmap.cz/talkcz
>
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <http://lists.openstreetmap.org/pipermail/talk-cz/attachments/20200821/5d8fbb98/attachment.htm>
Ahoj, tohle asi neni u geofabrik ale primo v OSM viz.:
https://lists.openstreetmap.org/pipermail/talk/2020-August/085340.html
(jsou tam trochu nizsi cisla zmen ale zminky i o dalsich problemech)
Bye tom.k
pá 21. 8. 2020 v 14:37 odesílatel Petr Vejsada <osm na propsychology.cz>
napsal:
zobrazit citaci
> Ahoj,
>
> strašně dlouho jsem sem nepsal a bohužel nemám dobré zprávy. Data na
> Geofabrik jsou nejspíš rozbitá, viz
> https://poloha.net/content/geofabrik-chybejici-data a proto na poloha.net
> se OSM data momentálně neaktualizují.
>
> Pokud o tom někdo něco tuší, dejte vědět.
>
> Díky.
>
> --
> Petr, petr na vejsada.net
> >p<
>
> _______________________________________________
> talk-cz mailing list
> talk-cz na openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cz
> https://openstreetmap.cz/talkcz
>
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <http://lists.openstreetmap.org/pipermail/talk-cz/attachments/20200821/515d2ee6/attachment.htm>
Ahoj,
dohledal jsem to, v Planet je všechno:
https://planet.openstreetmap.org/replication/minute/004/150/987.osc.gz
jak uzel tak cesty. Ovšemže nevím, zda nebyly také vygenerovány různé verze tohoto změnového souboru, ale žádná časová díra, která by tomu nasvědčovala, v Planet není. Vše hezky po minutách narozdíl od toho případu, o kterém se zmiňují ve Tvém odkazu.
Uzel má timestamp 2020-08-14T18:11:08Z a hned v další minutě šel z Planet ven včetně cest v tom 987.
Takže toto bude asi něco jiného.
--
Petr
Dne Pá 21. srpna 2020 15:39:25, Tom Ka napsal(a):
zobrazit citaci
> Ahoj, tohle asi neni u geofabrik ale primo v OSM viz.:
>
> https://lists.openstreetmap.org/pipermail/talk/2020-August/085340.html
>
> (jsou tam trochu nizsi cisla zmen ale zminky i o dalsich problemech)
>
> Bye tom.k
>
> pá 21. 8. 2020 v 14:37 odesílatel Petr Vejsada <osm na propsychology.cz>
> napsal:
>
> > Ahoj,
> >
> > strašně dlouho jsem sem nepsal a bohužel nemám dobré zprávy. Data na
> > Geofabrik jsou nejspíš rozbitá, viz
> > https://poloha.net/content/geofabrik-chybejici-data a proto na poloha.net
> > se OSM data momentálně neaktualizují.
> >
> > Pokud o tom někdo něco tuší, dejte vědět.
> >
> > Díky.
> >
> > --
> > Petr, petr na vejsada.net
> > >p<
> >
> > _______________________________________________
> > talk-cz mailing list
> > talk-cz na openstreetmap.org
> > https://lists.openstreetmap.org/listinfo/talk-cz
> > https://openstreetmap.cz/talkcz
> >
HTML příloha byla odstraněna...
URL: <http://lists.openstreetmap.org/pipermail/talk-cz/attachments/20200821/c873c792/attachment.htm>
Ahoj,
opět nějaké problémy přímo u zdroje.
https://twitter.com/pascal_n/status/1298125281249693697
Marián
---------- Původní e-mail ----------
Od: Petr Vejsada <osm na propsychology.cz>
Komu: talk-cz na openstreetmap.org
Datum: 21. 8. 2020 16:18:46
Předmět: Re: [talk-cz] Geofabrik chybějící data
"Ahoj,
dohledal jsem to, v Planet je všechno:
https://planet.openstreetmap.org/replication/minute/004/150/987.osc.gz
jak uzel tak cesty. Ovšemže nevím, zda nebyly také vygenerovány různé verze
tohoto změnového souboru, ale žádná časová díra, která by tomu nasvědčovala,
v Planet není. Vše hezky po minutách narozdíl od toho případu, o kterém se
zmiňují ve Tvém odkazu.
Uzel má timestamp 2020-08-14T18:11:08Z a hned v další minutě šel z Planet
ven včetně cest v tom 987.
Takže toto bude asi něco jiného.
--
Petr
Dne Pá 21. srpna 2020 15:39:25, Tom Ka napsal(a):
zobrazit citaci
> Ahoj, tohle asi neni u geofabrik ale primo v OSM viz.:
>
> https://lists.openstreetmap.org/pipermail/talk/2020-August/085340.html
>
> (jsou tam trochu nizsi cisla zmen ale zminky i o dalsich problemech)
>
> Bye tom.k
>
> pá 21. 8. 2020 v 14:37 odesílatel Petr Vejsada <osm na propsychology.cz>
> napsal:
>
> > Ahoj,
> >
> > strašně dlouho jsem sem nepsal a bohužel nemám dobré zprávy. Data na
> > Geofabrik jsou nejspíš rozbitá, viz
> > https://poloha.net/content/geofabrik-chybejici-data a proto na poloha.
net
zobrazit citaci
> > se OSM data momentálně neaktualizují.
> >
> > Pokud o tom někdo něco tuší, dejte vědět.
> >
> > Díky.
> >
> > --
> > Petr, petr na vejsada.net
> > >p<
> >
> > _______________________________________________
> > talk-cz mailing list
> > talk-cz na openstreetmap.org
> > https://lists.openstreetmap.org/listinfo/talk-cz
> > https://openstreetmap.cz/talkcz
> >
_______________________________________________
talk-cz mailing list
talk-cz na openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cz
https://openstreetmap.cz/talkcz
"
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <http://lists.openstreetmap.org/pipermail/talk-cz/attachments/20200825/6974fff8/attachment.htm>
Ahoj,
to je zase něco jiného, to jsou problémy s generováním changesetů. Geofabrik bere ty minutové replikace.
No nic, 2 týdny uplynuly a ty změnové soubory už asi nebudou. Začal jsem s reimportem.
Také jsem tu mystifikoval, czech-republic-latest je v pořádku. Není v pořádku Midnight Commander, který neumí hledat texty v 15 GB velkém souboru. Změny v cz-latest normálně jsou. Jen se nesmí hledat Midnight Commanderem. Grep to normálně našel.
Resumé - Geofabrik ztratila obsah 2 změnových souborů a už ho asi neobnoví. Import nějakou dobu poběží, asi řádově dny. Počítám že do konce týdne by mělo být všechno zase OK. Ono to vykreslení map také chvíli trvá.
RÚIAN data jsou OK (k 24.07.2020). Nová nahraji až se dokončí ten import OSM.
Tak prosím o trpělivost.
--
Petr
Dne Út 25. srpna 2020 07:24:38, Marián Kyral napsal(a):
zobrazit citaci
> Ahoj,
zobrazit citaci
> opět nějaké problémy přímo u zdroje.
zobrazit citaci
Ahoj
On Tue, 1 Sep 2020 at 01:04, Petr Vejsada <osm na propsychology.cz> wrote:
zobrazit citaci
> No nic, 2 týdny uplynuly a ty změnové soubory už asi nebudou. Začal jsem s
> reimportem.
>
> Resumé - Geofabrik ztratila obsah 2 změnových souborů a už ho asi
> neobnoví. Import nějakou dobu poběží, asi řádově dny. Počítám že do konce
> týdne by mělo být všechno zase OK. Ono to vykreslení map také chvíli trvá.
>
Chápu správně, že se to týká i "Aktivní vrstvy" na osmap.cz ?
Protože ta se mi momentálně načítá jen do zoomu 12, pak už přichází z
poloha.net jen prázdné odpovědi.
Dík
H.
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <http://lists.openstreetmap.org/pipermail/talk-cz/attachments/20200901/9c3027df/attachment.htm>
Ahoj,
Dne Út 1. září 2020 21:27:34, Jan Macura napsal(a):
zobrazit citaci
> Chápu správně, že se to týká i "Aktivní vrstvy" na osmap.cz ?
> Protože ta se mi momentálně načítá jen do zoomu 12, pak už přichází z
> poloha.net jen prázdné odpovědi.
Ano, bohužel, ty odpovědi jsou z cache. JSON dlaždice se po vygenerovýání nakešují a zůstávají v keši nějakou dobu.
https://poloha.net/content/geofabrik-chybejici-data
**********************
API data nahrána, nyní běží import geometrií pro tileserver. Bohužel OSM2PGSQL neumožňuje v jedné transakci truncate a reimport. Dropnout tabulky také nelze, protože mnoho dalších objektů na nich závisí. Musel jsem je tedy vyprázdnit ručně což bohužel znamená, že OSM data pro tileserver teď nejsou žádná. Import geometrií běží od 1.9. cca 12:00 a dnes kolem poledne by snad mohl doběhnout, ale uvidíme. Going over pending ways and relations může zabrat dalších pár dnů.
Nahrávaný soubor:
# original OSM minutely replication sequence number 4174046
timestamp=2020-08-30T20\:42\:02Z
sequenceNumber=2717
Po importu budu aplikovat aktualizace osc.gz
**********************
Pro JSON dlaždice jsou třeba obě schemata, API i geometrie.
Teď mě napadl správný postup - upravit osm2pgsql a místo DROP TABLE a CREATE TABLE tam dát TRUNCATE TABLE, jenže už je pozdě. Autoři to neimplementovali https://github.com/openstreetmap/osm2pgsql/issues/758
Tak zbývá jen čekat až to doběhne.
--
Zdraví
Petr« zpět na výpis měsíce