« zpět na výpis měsíce |

[Talk-cz] aktualizace mapových dlaždic - klient

Vlákno 21.4. - 22.4.2011, počet zpráv: 7


21.4.2011 11:31:00 (#1)
gravatar

Karel Volný

<kavol at seznam.cz>
567
Zdravím, s rostoucím rozsahem map (mapových dlaždic pro TangoGPS) stažených v telefonu začíná být můj updatovací bashový skriptík poněkud nedostatečný ... nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít? případně nějaký zde přítomný programátor, nejlépe asi pythonista, nebyl by tak hodný a nespíchnul by za dlouhých jarních večerů něco? hlavní problém s mým skriptem je ten, že pro každou dlaždici volá znovu curl, což je úděsná režije jednak na straně skriptu (spuštění procesu), jednak síťová, protože se znovu otvírá spojení nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-)) přitom ne vše je všude dostupné, takže pokud se dlaždici nepodaří stáhnout (404 not found apod.), tak by měl umět fallback na jiný zdroj K.

21.4.2011 11:52:37 (#2)
gravatar

Michal 'vorner' Vaner

<vorner at ucw.cz>
10
Dobré ráno On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote: zobrazit citaci
> nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý > soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen > to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě > by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé > serverů by mě asi neměli rádi ... :-))
Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení mezi requesty, takže by se vyřešilo minimálně to. Pokud ten bashový skript neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom případě je asi potřeba mít mapu na disku 2* (jednou v cache). S pozdravem -- The human mind ordinarily operates at only ten percent of its capacity -- the rest is overhead for the operating system Michal 'vorner' Vaner ------------- další část --------------- A non-text attachment was scrubbed... Name: [žádný popis není k dispozici] Type: application/pgp-signature Size: 198 bytes Desc: [žádný popis není k dispozici] URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20110421/f084c89a/attachment.sig>

21.4.2011 01:00:31 (#3)
gravatar

Karel Volný

<kavol at seznam.cz>
567
Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a): zobrazit citaci
> Dobré ráno > > On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote: > > nechci po tom nic závratného, jen aby prošel adresářovou strukturu a > > každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se > > posílalo jen to, co je na serveru aktualizované, ať se zbytečně > > nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes > > noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-)) > > Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a > server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení > mezi requesty,
wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty spojí zobrazit citaci
> takže by se vyřešilo minimálně to.
druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud vyšší výkon, a pak jen syncnu na telefon zobrazit citaci
> Pokud ten bashový skript > neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom > případě je asi potřeba mít mapu na disku 2* (jednou v cache).
to IMS umí právě ten curl dík za tip! K.

22.4.2011 10:30:55 (#4)
gravatar

Karel Volný

<kavol at seznam.cz>
567
... tož nadšení trošku vyprchalo, když jsem zjistil, že s polipo se mi to nezaktualizovalo ani přes noc - tempo jedna dlaždice za sekundu či pomalejší jaksi není nic moc K. Dne Čt 21. dubna 2011 Karel Volný napsal(a): zobrazit citaci
> Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a): > > Dobré ráno > > > > On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote: > > > nechci po tom nic závratného, jen aby prošel adresářovou strukturu a > > > každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se > > > posílalo jen to, co je na serveru aktualizované, ať se zbytečně > > > nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes > > > noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-)) > > > > Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a > > server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení > > mezi requesty, > > wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty > spojí > > > takže by se vyřešilo minimálně to. > > druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud > vyšší výkon, a pak jen syncnu na telefon > > > Pokud ten bashový skript > > neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom > > případě je asi potřeba mít mapu na disku 2* (jednou v cache). > > to IMS umí právě ten curl > > dík za tip! > > K. > > > _______________________________________________ > Talk-cz mailing list > Talk-cz na openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-cz

22.4.2011 10:51:17 (#5)
gravatar

Radek Bartoň

<blackhex at post.cz>
149
Dne Čt 21. dubna 2011 11:31:00 Karel Volný napsal(a): zobrazit citaci
> nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít?
A yaouh (http://wiki.openmoko.org/wiki/Yaouh!) nevyhovuje? -- Ing. Radek Bartoň Faculty of Information Technology Department of Computer Graphics and Multimedia Brno University of Technology E-mail: blackhex na post.cz Web: http://blackhex.no-ip.org Jabber: blackhex na jabber.cz ------------- další část --------------- HTML příloha byla odstraněna... URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20110422/6bdfdc63/attachment.html>

22.4.2011 11:17:41 (#6)
gravatar

Karel Volný

<kavol at seznam.cz>
567
Dne Pá 22. dubna 2011 Radek Bartoň napsal(a): zobrazit citaci
> Dne Čt 21. dubna 2011 11:31:00 Karel Volný napsal(a): > > nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít? > > A yaouh (http://wiki.openmoko.org/wiki/Yaouh!) nevyhovuje?
ten mi padal, a navíc byl děsně pomalý (mám podezření, že stahoval vše, ač stránka tvrdí, že by neměl) no a hlavně neumí ten fallback, když to nejde stáhnout z jednoho zdroje, ať zkusí jiný K.

22.4.2011 11:18:17 (#7)
gravatar

Mike

<mike at mikecrash.com>
198
Já to dělal tak, že jsem ten celý adresář jednou za čas smazal a stáhnul si co jsem potřeboval znovu. Navíc jsem aspoň odstranil ty dlaždice, které už nepotřebuju. Přijde mi to jednodušší než tahat vše znovu a aktualizovat to. On i ten jednoduchý dotaz na čas souboru něco zabere a trvá to docela dlouho. On 22.4.2011 10:30, Karel Volný wrote: zobrazit citaci
> > ... tož nadšení trošku vyprchalo, když jsem zjistil, že s polipo se mi to > nezaktualizovalo ani přes noc - tempo jedna dlaždice za sekundu či pomalejší > jaksi není nic moc > > K. > > > Dne Čt 21. dubna 2011 Karel Volný napsal(a): >> Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a): >>> Dobré ráno >>> >>> On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote: >>>> nechci po tom nic závratného, jen aby prošel adresářovou strukturu a >>>> každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se >>>> posílalo jen to, co je na serveru aktualizované, ať se zbytečně >>>> nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes >>>> noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-)) >>> >>> Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a >>> server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení >>> mezi requesty, >> >> wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty >> spojí >> >>> takže by se vyřešilo minimálně to. >> >> druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud >> vyšší výkon, a pak jen syncnu na telefon >> >>> Pokud ten bashový skript >>> neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom >>> případě je asi potřeba mít mapu na disku 2* (jednou v cache). >> >> to IMS umí právě ten curl >> >> dík za tip! >> >> K. >> >> >> _______________________________________________ >> Talk-cz mailing list >> Talk-cz na openstreetmap.org >> http://lists.openstreetmap.org/listinfo/talk-cz > > > _______________________________________________ > Talk-cz mailing list > Talk-cz na openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-cz >

« zpět na výpis měsíce