IT Poradna

[Almad]

Neznáte někdo nějaký program, který umožňuje stahovat a archivovat celé webové stránky, včetně JavaScriptů, CSS a obrázků? Chrome umožňuje uložit stránku včetně obrázků, bohužel když to použiju třeba na tuhle stránku z DesignMagazin.cz, tak se mi neuloží ty obrázky, které se zobrazují po otevření lightboxu. Přitom právě kvůli nim si to chci stáhnout...

(programovat se mi to zrovna dvakrát nechce)

wget -r ?

Pripadne konqueror to imo zvlada solidne.

[Wan-To]

Zkoušel jsem, ale...

Když zavolám wget -r, tak mi to stáhne stránku a odkazy na ní. Včetně odkazů na další HTML stránky, což nechci a což se dá obejít rozumně tak, že přidám parametr --accept=".jpg,.png,jméno-aktuální-stránky". Jenže to už nestáhne JavaScripty, CSS a další věci.

Když použiju -p / --page-requisites, tak wget stáhne stránku, krásně si upraví CSS soubory, stáhne všechny background-image, vložené <img/> a tak. Jenže už nestáhne ty obrázky, na které stránka odkazuje (prostě udělá to samé co Chrome).

A když to zkusím všechno zkombinovat, tedy wget -r --page-requisites --accept=".jpg,.png,*aktuální-stránka.html", tak by se to teoreticky mělo chovat podle očekávání. Tedy stáhnout aktuální stránku, její vložené obrázky, CSS a JS, pak postahovat obrázky, na které vedou odkazy. Ovšem prakticky to stáhne aktuální stránku, pak všechny stránky, na které je odkazováno, a potom to na všechno stažené aplikuje --page-requisites. Nakonec to smaže HTML soubory, které jsem vůbec stahovat nechtěl. Takže výsledkem je sice (snad) správné zobrazení toho, co jsem chtěl stáhnout, ale zároveň taky tuna nepotřebného balastu z okolních stránek.

[Wan-To]

Ha, tak to mám!

Kód: Vybrat vše

#!/bin/sh

wget -nv --accept=".jpg,.png,.gif" -l1 -r --spider "$1" 2> files.txt
cat files.txt | sed 's/ /\n/g' | sed -n '/http:\/\//p' | sed '/URL:/d' >> urls.txt
echo "$1" >> urls.txt
wget -p --convert-links -nc `cat urls.txt` 2> /dev/null

rm files.txt

Funguje to tak, že nejdřív pomocí rekurzivního stahování, parametru --spider a následného nepříliš elegantního volání sedu získám URL všech obrázků, na které stránka odkazuje, a uložím je do urls.txt. Pak do stejného souboru přidám ještě adresu samotné stránky a všechno to najednou stáhnu. Jeden fígl je --convert-links, který správně nahradí URL v odkazech, které vedou na některý ze souborů, který se stahoval, druhý je -p/--page-requisites, který stáhne CSS a podobnou havěť a poslední třetí fígl je -nc a to, že urls.txt nemažu, ale nechávám i pro další stahování. Když se rozhodnu stáhnout si nějakou jinou stránku ze stejného serveru, tak tahle kombinace zajistí to, že se nic nebude stahovat dvakrát (-nc), ale u všech html souborů se přesto aktualizuje propojení odkazů (poněvadž jsou všechny uvedené v urls.txt).

Pripadne konqueror to imo zvlada solidne.

Ten mi je k ničemu, jedu na Windows 7 a ta šílenost nahoře mi běží v mingw konzoli...

[Quentin]

Hej holky, může se komp sám od sebe vypnout? A pokud jo, co to způsobuje?

Během dopoledne se mi to třikrát stalo, tak mě to trochu vyděsilo. Teď tu sedim s rozsvicenym světlem, abych to případně mohl svést na potíže s proudem (venku docela fouká).

Vyplašilo mě to hlavně pro to, že jsem doma na neschopence a přijít před víkendem o komp by bylo hodné zlé (Mág od Feista mi určitě na dlouho nevydrží)

[Alef0]

Hej, to sa stáva, keď ti umiera zdroj.

Mám na mysli také, že zrazu offline bez varovania.

Skúsil by som vysávačom prefúkať ventilátory na zdroji a pripraviť sa psychicky na to, že možno ti bude treba nový.

[Quentin]

Dik, taky jsem si řikal, že asi zdroj. To by ještě nebylo tak hrozný.

[Alef0]

Náhodné reštarty si nemával?

[Quentin]

Nic takového. A teď je to už ňáký dvě hoďky v pohodě, tak to zatím svedu na ten proud (počasí venku je lepší). Pokud se to během víkendu znovu objeví, tak zkusim novej zdroj.

[boubaque]

Když zavolám wget -r, tak mi to stáhne stránku a odkazy na ní. Včetně odkazů na další HTML stránky, což nechci a což se dá obejít rozumně tak, že přidám parametr --accept=".jpg,.png,jméno-aktuální-stránky". Jenže to už nestáhne JavaScripty, CSS a další věci.

Vůbec do toho nevidím, ale nestačilo by třeba: --accept=".jpg,.png,.css,.js,jméno-aktuální-stránky" případně pár dalších přípon, které se běžně používají pro zobrazení stránek?

[Wan-To]

Vůbec do toho nevidím, ale nestačilo by třeba: --accept=".jpg,.png,.css,.js,jméno-aktuální-stránky" případně pár dalších přípon, které se běžně používají pro zobrazení stránek?

Ne... Soubory s těmahle příponama to hledá v odkazech <a>, možná dokonce i v <link>, ale už by to třeba nestáhlo obrázky, na které odkazují jen CSS soubory. Je třeba použít --page-requisites / -p.

[Eleshar_Vermillion]

Nejsem na Ubuntě s to rozbalit jeden posraný RAR... je v tom spousta e-knížek, v češtině a s českými názvy, takže to má rozhozené kódování.
Rozbaluju to normálním linuxovým rarem a výsledek je ten, že když to má dobrou náladu, vyhodí to pár souborů z archivu, ohlásí to chybu ("nebylo možné vytvořit soubor s názvem"... a tam jsou vyjmenovány všechny, samozřejmě včetně těch, které to rozbalilo).
Když to má špatnou náladu, provede to úspěšně extrakci, ale... nic tam není, akorát se tam objeví prázdná skrytá složka s perversním názvem.

Zkusil jsem to pak rozbalit ještě přes 7z přes příkazový řádek:
$ 7z e -o{/home/eleshar/Stažené/knihy/COSI/} /home/eleshar/Stažené/knihy/KL.rar

To provedlo extrakci úspěšně... ale opět v daném adresáři nic není (ani skryté složky)... ale když jsem to zkusil zopakovat, tvrdí mi to, že soubory existují a jestli je to má přespat...
Příkaz ls ve složce taky nic nevidí.

[Almad]

Nejsem na Ubuntě s to rozbalit jeden posraný RAR... je v tom spousta e-knížek, v češtině a s českými názvy, takže to má rozhozené kódování.

(...)

To provedlo extrakci úspěšně... ale opět v daném adresáři nic není (ani skryté složky)... ale když jsem to zkusil zopakovat, tvrdí mi to, že soubory existují a jestli je to má přespat...
Příkaz ls ve složce taky nic nevidí.

Jakym rar prikazem?

V jakym kodovani mas filesystem, je tam utf-8? Jestli ne, tak bych zacal tim.

zkus misto ls dat ls -lah.

[Eleshar_Vermillion]

Nejel jsem přes řádku ale normálně přes GUI...

po "locale" mi to tvrdí, že mám vše v utf-8
po "ls -lah" to vyhodí

Kód: Vybrat vše

~/Stažené/knihy/COSI$ ls -lah
celkem 8,0K
drwxr-xr-x 2 eleshar eleshar 4,0K 2011-01-19 10:35 .
drwxr-xr-x 8 eleshar eleshar 4,0K 2011-01-19 10:51 ..

[Wan-To]

Co znamená normálním linuxovým rarem? V konzoli, unrar e soubor.rar?

[Eleshar_Vermillion]

Soudím, že tím, který je už zabudovaný v Nautilu... Zatím se mi nikdy nestalo, že by nedostačoval...