[Talk-cz] aktualizace mapových dlaždic - klient
Vlákno 21.4. - 22.4.2011, počet zpráv: 7
Zdravím,
s rostoucím rozsahem map (mapových dlaždic pro TangoGPS) stažených v telefonu
začíná být můj updatovací bashový skriptík poněkud nedostatečný ...
nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít?
případně nějaký zde přítomný programátor, nejlépe asi pythonista, nebyl by tak
hodný a nespíchnul by za dlouhých jarních večerů něco?
hlavní problém s mým skriptem je ten, že pro každou dlaždici volá znovu curl,
což je úděsná režije jednak na straně skriptu (spuštění procesu), jednak
síťová, protože se znovu otvírá spojení
nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý
soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen
to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě
by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé
serverů by mě asi neměli rádi ... :-))
přitom ne vše je všude dostupné, takže pokud se dlaždici nepodaří stáhnout
(404 not found apod.), tak by měl umět fallback na jiný zdroj
K.
Dobré ráno
On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote:
zobrazit citaci
> nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý
> soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen
> to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě
> by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé
> serverů by mě asi neměli rádi ... :-))
Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a server
dát nějakou cache, řekněme polipo. On umí držet otevřené spojení mezi requesty,
takže by se vyřešilo minimálně to. Pokud ten bashový skript neumí to
if-modified-since sám, tak by to uměl taky doplnit, ale v tom případě je asi
potřeba mít mapu na disku 2* (jednou v cache).
S pozdravem
--
The human mind ordinarily operates at only ten percent of its capacity
-- the rest is overhead for the operating system
Michal 'vorner' Vaner
------------- další část ---------------
A non-text attachment was scrubbed...
Name: [žádný popis není k dispozici]
Type: application/pgp-signature
Size: 198 bytes
Desc: [žádný popis není k dispozici]
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20110421/f084c89a/attachment.sig>
Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a):
zobrazit citaci
> Dobré ráno
>
> On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote:
> > nechci po tom nic závratného, jen aby prošel adresářovou strukturu a
> > každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se
> > posílalo jen to, co je na serveru aktualizované, ať se zbytečně
> > nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes
> > noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-))
>
> Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a
> server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení
> mezi requesty,
wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty spojí
zobrazit citaci
> takže by se vyřešilo minimálně to.
druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud
vyšší výkon, a pak jen syncnu na telefon
zobrazit citaci
> Pokud ten bashový skript
> neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom
> případě je asi potřeba mít mapu na disku 2* (jednou v cache).
to IMS umí právě ten curl
dík za tip!
K.
... tož nadšení trošku vyprchalo, když jsem zjistil, že s polipo se mi to
nezaktualizovalo ani přes noc - tempo jedna dlaždice za sekundu či pomalejší
jaksi není nic moc
K.
Dne Čt 21. dubna 2011 Karel Volný napsal(a):
zobrazit citaci
> Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a):
> > Dobré ráno
> >
> > On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote:
> > > nechci po tom nic závratného, jen aby prošel adresářovou strukturu a
> > > každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se
> > > posílalo jen to, co je na serveru aktualizované, ať se zbytečně
> > > nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes
> > > noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-))
> >
> > Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a
> > server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení
> > mezi requesty,
>
> wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty
> spojí
>
> > takže by se vyřešilo minimálně to.
>
> druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud
> vyšší výkon, a pak jen syncnu na telefon
>
> > Pokud ten bashový skript
> > neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom
> > případě je asi potřeba mít mapu na disku 2* (jednou v cache).
>
> to IMS umí právě ten curl
>
> dík za tip!
>
> K.
>
>
> _______________________________________________
> Talk-cz mailing list
> Talk-cz na openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-cz
Dne Čt 21. dubna 2011 11:31:00 Karel Volný napsal(a):
zobrazit citaci
> nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít?
A yaouh (http://wiki.openmoko.org/wiki/Yaouh!) nevyhovuje?
--
Ing. Radek Bartoň
Faculty of Information Technology
Department of Computer Graphics and Multimedia
Brno University of Technology
E-mail: blackhex na post.cz
Web: http://blackhex.no-ip.org
Jabber: blackhex na jabber.cz
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <https://lists.openstreetmap.org/pipermail/talk-cz/attachments/20110422/6bdfdc63/attachment.html>
Dne Pá 22. dubna 2011 Radek Bartoň napsal(a):
zobrazit citaci
> Dne Čt 21. dubna 2011 11:31:00 Karel Volný napsal(a):
> > nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít?
>
> A yaouh (http://wiki.openmoko.org/wiki/Yaouh!) nevyhovuje?
ten mi padal, a navíc byl děsně pomalý (mám podezření, že stahoval vše, ač
stránka tvrdí, že by neměl)
no a hlavně neumí ten fallback, když to nejde stáhnout z jednoho zdroje, ať
zkusí jiný
K.
Já to dělal tak, že jsem ten celý adresář jednou za čas smazal a stáhnul
si co jsem potřeboval znovu. Navíc jsem aspoň odstranil ty dlaždice,
které už nepotřebuju. Přijde mi to jednodušší než tahat vše znovu a
aktualizovat to. On i ten jednoduchý dotaz na čas souboru něco zabere a
trvá to docela dlouho.
On 22.4.2011 10:30, Karel Volný wrote:
zobrazit citaci
>
> ... tož nadšení trošku vyprchalo, když jsem zjistil, že s polipo se mi to
> nezaktualizovalo ani přes noc - tempo jedna dlaždice za sekundu či pomalejší
> jaksi není nic moc
>
> K.
>
>
> Dne Čt 21. dubna 2011 Karel Volný napsal(a):
>> Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a):
>>> Dobré ráno
>>>
>>> On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote:
>>>> nechci po tom nic závratného, jen aby prošel adresářovou strukturu a
>>>> každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se
>>>> posílalo jen to, co je na serveru aktualizované, ať se zbytečně
>>>> nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes
>>>> noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-))
>>>
>>> Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a
>>> server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení
>>> mezi requesty,
>>
>> wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty
>> spojí
>>
>>> takže by se vyřešilo minimálně to.
>>
>> druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud
>> vyšší výkon, a pak jen syncnu na telefon
>>
>>> Pokud ten bashový skript
>>> neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom
>>> případě je asi potřeba mít mapu na disku 2* (jednou v cache).
>>
>> to IMS umí právě ten curl
>>
>> dík za tip!
>>
>> K.
>>
>>
>> _______________________________________________
>> Talk-cz mailing list
>> Talk-cz na openstreetmap.org
>> http://lists.openstreetmap.org/listinfo/talk-cz
>
>
> _______________________________________________
> Talk-cz mailing list
> Talk-cz na openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-cz
>
« zpět na výpis měsíce