[Talk-cz] Fwd: [OpenStreetMap] duplicate nodes
Vlákno 14.11. - 16.11.2010, počet zpráv: 9
Ahoj, zdá se, že import dibavodu nadělal v databázi dost duplicit...
Krom bažin (u kterých jsem se pustil do systematického mazání duplicit)
to vypadá na problém v napojení částí vodních toků na sebe (příp. na
rybník, kterým protékají).
Máte někdo rozumný nástroj na odstranění duplicitních nodů? O bažiny se
v následujících dnech postarám, ale chtělo by to vyřešit i ty nody.
Petr
-------- Původní zpráva --------
Předmět: [OpenStreetMap] duplicate nodes
Datum: Sun, 14 Nov 2010 13:52:44 +0000
Od: Tshikey <m-144386-4bcc26 na messages.openstreetmap.org>
Komu: xificurk na gmail.com
Dobrý den, uživateli xificurk,
Tshikey vám poslal(a) prostřednictvím OpenStreetMap zprávu s předmětem
duplicate nodes:
==
hello xificurk!
i`m a user from germany and saw a lot of duplicate nodes (twins)
in your area...
this is a mistake in osm and also dificult to render the cards.
here i send you a analyse-tool to find them:
http://matt.dev.openstreetmap.org/dupe_nodes/?zoom=8&lat=49.76522&lon=15.63059&layers=BT
you can zoom-in in your area and than click right below to set the
"permalink" bevore storing at your computer.
than zoom deeper to find individual dup-nodes, to edit them, click right
below on "edit in josm" for example. (vs. edit in potlatch)
please send this mail to other users in your country,
to "fight the red crosses"!
:-)
and also, please don't reply, my english is so bad...., thanks!
much pleasure and greetings
georg (tshikey)
------------- další část ---------------
A non-text attachment was scrubbed...
Name: xificurk.vcf
Type: text/x-vcard
Size: 354 bytes
Desc: [žádný popis není k dispozici]
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20101114/1a2995cb/attachment.vcf>
------------- další část ---------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 261 bytes
Desc: OpenPGP digital signature
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20101114/1a2995cb/attachment.sig>
Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám
zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho nemám.
:) Já jen jestli v tom nedělám zmatek třeba.
~ honny
Jo, určitě... mě jen zajímalo jestli to někdo nemá zautomatizované.
Na duplicitní cesty jsem si něco napsal, tak to použiuju na bažiny. Ale
hledání duplicitních nodů takhle v místech dělení cest moc snadné není.
honny napsal(a):
zobrazit citaci
> Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám
> zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho nemám.
> :) Já jen jestli v tom nedělám zmatek třeba.
>
>
> ~ honny
>
> _______________________________________________
> Talk-cz mailing list
> Talk-cz na openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-cz
------------- další část ---------------
A non-text attachment was scrubbed...
Name: xificurk.vcf
Type: text/x-vcard
Size: 354 bytes
Desc: [žádný popis není k dispozici]
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20101114/4b47de46/attachment.vcf>
------------- další část ---------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 261 bytes
Desc: OpenPGP digital signature
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20101114/4b47de46/attachment.sig>
Tak ja jsem si chvilku hral a neco jsem si napsal. Zatim jsem to
zkousel na malem kousku a vypada to dobre.
Postup:
nactu toky (waterway:stream) a nadrze (landuse: reservoir)
najdu duplicitni body mezi toky a nadrzemi
duplicitni body v tocich nahradim odpovidajicimi body z nadrzi
puvodni duplicitni body z toku smazu
Az mi skript dobehne na cele republice, tak nekam uploduju vysledek,
kdyby se chtel nekdo podivat a zkontrolovat to predtim nez to
uploduju.
---
Lukas
2010/11/14 "Petr Morávek [Xificurk]" <xificurk na gmail.com>:
zobrazit citaci
> Jo, určitě... mě jen zajímalo jestli to někdo nemá zautomatizované.
> Na duplicitní cesty jsem si něco napsal, tak to použiuju na bažiny. Ale
> hledání duplicitních nodů takhle v místech dělení cest moc snadné není.
>
> honny napsal(a):
>> Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám
>> zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho nemám.
>> :) Já jen jestli v tom nedělám zmatek třeba.
>>
>>
>> ~ honny
>>
>> _______________________________________________
>> Talk-cz mailing list
>> Talk-cz na openstreetmap.org
>> http://lists.openstreetmap.org/listinfo/talk-cz
>
> _______________________________________________
> Talk-cz mailing list
> Talk-cz na openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-cz
>
>
Lukas Kabrt napsal(a):
zobrazit citaci
> Az mi skript dobehne na cele republice, tak nekam uploduju vysledek,
> kdyby se chtel nekdo podivat a zkontrolovat to predtim nez to
> uploduju.
Tenhle postup asi není zrovna ideální - mezitím se celkem jistě některé
cesty z dumpu změní. Při updatování je imho potřeba pracovat s co
nejaktuálnějšími daty a hlavně uploadnout update hned, jak je připraven.
Petr
------------- další část ---------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 261 bytes
Desc: OpenPGP digital signature
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20101114/a9b952c2/attachment.sig>
On Sun, 14 Nov 2010 21:12:18 +0100, "Petr Morávek [Xificurk]"
<xificurk na gmail.com> wrote:
zobrazit citaci
> Jo, určitě... mě jen zajímalo jestli to někdo nemá zautomatizované.
> Na duplicitní cesty jsem si něco napsal, tak to použiuju na bažiny.
> Ale
> hledání duplicitních nodů takhle v místech dělení cest moc snadné
> není.
Mám skript co do něj nacpu dump a vyjede mi mapa, kde jsou vidět
duplicitní nody (resp pokud je tam N duplicitních bodů, tak se jich na
výstup posledních N-1 zkopíruje). Tohle pak lze otevřít v JOSM a podle
toho si vybírat kde se na to podívat, ale přímo z toho výsledku to
opravovat nelze (většina nodů je zároveň součástí nějakých cest). Teď je
to asi 45000 nodů jako vedlejší důsledek všech duplicit v dibavodu.
Výsledek je na http://git.wz.cz/dup_nodes_cz.osm.bz2 pokud by někoho
zajímalo, kde ty duplicity jsou. Stručně řečeno jsou skoro všude.
zobrazit citaci
> honny napsal(a):
>> Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám
>> zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho
>> nemám.
>> :) Já jen jestli v tom nedělám zmatek třeba.
Teď jsem si napsat obdobný skript i na vyhledávání duplicitních cest
(celkem to našlo asi 14 000 případů duplicitních cest v ČR), ale spousta
jich tam už není. Vypadá to, že velké množství duplikací je (bylo) v
pruhu mezi 17. a 18. stupněm.
Když jsem zjišťoval jestli je chyba ve skriptu, nebo jestli to někdo
opravuje, tak jsem narazil na tohle:
http://www.openstreetmap.org/browse/changeset/6362586
Vypadá to, že ty duplicity v ČR už někdo řeší (aspoň pro potoky), tak
bych ho nechal ho to dořešit. Jinak duplicitních bažin je asi 5000, při
hromadném odstraňování by to chtělo být opatrný, aby se nakonec
neodstranily obě kopie (někdo smaže první z těch duplicit, někdo tu
druhou a nebude tam ani jedna). Validator v JOSM při odstraňování
duplicitních cest postupuje deterministicky (z duplicitních cest nechá
tu z nejnižším ID, tedy tu co tam byla první, a zbylé smaže), ten kdo
řeší potoky, tak na to jde co jsem koukal asi stejně (zdá se, že používá
JOSM). Takže pokud by to někdo dělal, doporučuju, aby použil buď taky
JOSM, nebo aspoň stejný algoritmus (z duplikátů tu s nejnižším ID
nechat, smazat ty zbylé)
Já bych v tom promazávání během regulérního opravování pokračoval,
aspoň je pak vidět kde ještě nikdo nic neopravoval (tam kde jsou
zdvojené věci) a kde už jo (tam kde nic duplicitního není). Navíc v JOSM
je smazání duplicitních v aktuálně staženém výřezu záležitost asi na 3
kliknutí ve validatoru.
Martin
MP napsal(a):
zobrazit citaci
> Jinak duplicitních bažin je asi 5000, při
> hromadném odstraňování by to chtělo být opatrný, aby se nakonec
> neodstranily obě kopie (někdo smaže první z těch duplicit, někdo tu
> druhou a nebude tam ani jedna).
Na tohle mám skript - už jsem to minulý týden pouštěl na část ČR, ještě
dodělám v následujících dnech zbytek. Po smazání duplicitních cest
ověřuji, jestli ten "originál" (cesta s nejnižším id) někdo mezitím taky
nesmazal, příp. to na mě začne řvát. Takže to není problém. Taky
kontroluju jestli některé cesty už nejsou přidány v nějakých relacích.
Petr
------------- další část ---------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 261 bytes
Desc: OpenPGP digital signature
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20101114/ab818993/attachment.sig>
Ahoj!
zobrazit citaci
> Ahoj, zdá se, že import dibavodu nadělal v databázi dost duplicit...
> Krom bažin (u kterých jsem se pustil do systematického mazání duplicit)
> to vypadá na problém v napojení částí vodních toků na sebe (příp. na
> rybník, kterým protékají).
Diky!
Cekal bych, ze i na potocich budou nejake "klasicke" duplicity, v
jednu chvili mi nehezky lehnul josm.
Pavel
--
(english) http://www.livejournal.com/~pavelmachek
(cesky, pictures) http://atrey.karlin.mff.cuni.cz/~pavel/picture/horses/blog.html
2010/11/16 Pavel Machek <pavel na ucw.cz>:
zobrazit citaci
> Ahoj!
>
>> Ahoj, zdá se, že import dibavodu nadělal v databázi dost duplicit...
>> Krom bažin (u kterých jsem se pustil do systematického mazání duplicit)
>> to vypadá na problém v napojení částí vodních toků na sebe (příp. na
>> rybník, kterým protékají).
>
> Diky!
>
> Cekal bych, ze i na potocich budou nejake "klasicke" duplicity, v
> jednu chvili mi nehezky lehnul josm.
> Pavel
asi tak 80% potoku co kontroluju sou 2x
--
Michal Grézl
http://openstreetmap.cz« zpět na výpis měsíce