IT pro otrlé

[OnGe]

coalback

[Eleshar_Vermillion]

Mám webovou stránku (vskutečnosti korporátní systém), kterou v podstatě celou generuje javascript, který sahá někam do nějakých databází. Výsledek je ten, že ve View Page Source vidím asi 300 linků na ty různé skripty, které to teda generují. Ale v Developer View mi Inspector normálně ukazuje ten vygenerovaný HTML kód. Jak se k tomuto lze nějak automaticky dostat, aby to bylo možné zkopírovat do nějakého TXT?
Úplně nejlepší by bylo nějaké firefoxí API aktivovatelné přes nějaký super-cool programovací jazyk, třeba excelový VBA

[OnGe]

Přiznej se, že ty se nás jenom snažíš zblbnout cizíme slovama

[York]

Eleshar: To budeš asi muset pogooglit. Na mě vyskočilo třeba tohle, nevím, jestli ti to pomůže.

[Eleshar_Vermillion]

Přiznej se, že ty se nás jenom snažíš zblbnout cizíme slovama

Možná spíš jen debilníma, protože na to nemám termity (i když York to pochopil). Internety mi napovídají, že to, co chci udělat, se jmenuje webscraping dynamicky generované stránky. V podstatě potřebuju dostat data z té stránky do Excelu, abych je pak mohl dostat do jiného, debilního, korporátního systému.

Našel jsem, že existuje cosi jménem Selenium IDE, které udělá cosi jako API v browseru, a pak jsem našel VBA knihovnu, která to API umožní volat, což je asi to, co potřebuju, jen to nefachá, protože tu knihovnu už 2 roky nikdo neudržuje a má to zastaralé ovladače prohlížečů.

York:
Ano, toto v podstatě potřebuju, jen bych to nějak potřeboval automatisovat, aby to kopírovalo vnitřek DIVu, který je dost hluboko, a hlavně bez interakce s tím Inspectorem.

[York]

hlavně bez interakce s tím Inspectorem.

To html vyrobí až přímo browser, takže jinak než interakcí s browserem to nepůjde.


Možná mě napadlo řešení:

1) Napiš si vlastní html stránku, do ní dej iframe a v něm zobraz tu stránku, ze které chceš získat html.
2) V té vlastní stánce si napiš skript, který přečte document.documentElement.innerHTML a ten string pošle na server, kde se to savne do souboru.


edit: Ale popravdě to je strašnej hacking. Měl bys ty tada brát rovnou ze zdroje, ne z webové stránky, která je prezentuje.

[Eleshar_Vermillion]

Potřebuju, aby to zvládli používat moji kolegové. Zatím mám makro, které dělá Alt+Tab, Ctrl+A, Ctrl+C, Alt+Tab, Ctrl+V, a pak to začistí a parsuje, ale dost by se mi tam hodilo mít to HTML, protože jinak je to parsování trochu hádání z křišťálové koule.

[York]

Ok, zkusím to vysvětlit líp:

iframe je html komponenta, do který můžeš vložit celou jinou stránku. Můžeš si třeba udělat vlastní web a mít v něm v malym okně RPG fórum.

document.documentElement.innerHTML je textové html aktuálního dokumentu (v zásadě to, co chceš). Přečíst ho můžeš javascriptem. Na to, aby smohl pustit na stránce javascript, to ale musí bejt tvoje stránka (respektive můžeš ho taky ručně napsat do konzole, ale to už to z ní můžeš rovnou rušně vykopírovat). To zařídí právě ten iframe - dáš tu cílovou stránku do svojí stránky a přečteš si html svojí stránky, která tu cílovou stránku obsahuje.


Máš teda html v nějaké proměnné v javascriptu. A chceš ho někam uložit. Přímo z browseru se ukládat nedá, ale dají se data někam poslat (přes web sockety, POST, apod.) čili si je pošleš na svůj server a tam už je můžeš uložit.

(Varoval jsem, že to nebude jednoduchý).


PS: Tím, že bys měl data číst rovnou ze zdroje, jsem myslel databázi, ze které data čte ta webová stránka, kterou chceš parsovat. Kdyby to bylo třeba RPG fórum, tak bys měl data vytáhnout SQL dotazem z databáze RPG fóra a ne je parsovat z html v browseru.

[Eleshar_Vermillion]

Chápu, co myslíš, ale jak říkám, potřebuju, aby to zvládli používat kolegové a nerozbíjelo jim to workflow (krom toho, že bych to nezvládl a do databáze by mě nikdy nepustili).
Potřebuju něco, co nahradí manuální označení prvku a nakopírování do Excelu (což se při té transakci musí udělat 5-15x).
Napadlo mě, že by to ještě mohl zvládnout nějaký plugin v browseru?
A jinak si nepřipadám jako hacker, ale jako někdo, kdo zatlouká hřebík motorovou pilou.

[Sosacek]

Tohle by si zaslouzilo nekolik slajdu na predmetu "Integrace informacnich systemu" na FIT CVUT.

[OnGe]

Můžeš sem na to, co chceš scrapovat, dát odkaz?

[Eleshar_Vermillion]

Nejde, je to korporátní systém pod SSO, navíc samozřejmě ta data nelze publikovat. V podstatě je to krok business procesu, který říká, co se děje (jaká data se mění na jaká data), a ty v podstatě děláš jen sanity check. Pak to odklepneš a za normálních okolností ti to vygeneruje samo dokument z dotyčných dat a pošle to data do finančního systému, který je s tím naintegrovaný a do databáze vůbec koukat nepotřebuješ (a ani se to nečeká, že kdy budeš, pokud nejsi admin).

Já ale řeším zemi, která má jazykové požadavky, které neumožňují implementaci toho vytváření dokumentu, takže to musíme dělat my manuálně, a rovněž nejsme na globálním finančním systému, ale na 30-let starém lokálním bulšitu, se kterým nejde nic integrovat, protože dodavatel už to nepodporuje. Takže potřebuju nacpat data do Excelu, abych z nich vygeneroval bumážku a namapoval je do formátu, ve kterém to cvičené opičky na straně dodavatele systému do systému zvládnou nabušit tak, že když tam jsou chyby, tak jim to můžeme vyčítat.

[OnGe]

Njn, a mě se zrovna v pátek rozbila křišťálová koule. Tak potom asi jediné, co ti k tomu můžu poradit, je vykašlat se na to, protože pokusem o automatizaci ztratíš zhruba tolik času, co se tou automatizací ušetří, budeš se při tom chtít zabít a když to nebude úplně 100% bude to tvoje chyba a budeš to muset urychleně řešit. Zase.

[Invictus]

Já ale řeším zemi, která má jazykové požadavky, které neumožňují implementaci toho vytváření dokumentu

Kdyby to nebyl korporát, tak bych řešil tohle.
Myslím si, že udělat skript nebo použít nějaký tool, který ti vytáhne data přímo z requestu (ajax, iframe, whatever), nebo z vygenerované stránky, a vloží třeba do csv, je relativně snadná věc. Hlavní je to dobře zmapovat, dobře ošetřit výjimky, a otestovat před používáním. Pochybuju, že by ta automatizace zabrala o moc více než tak 30x provedení toho úkonu manuálně.

York:

Ale popravdě to je strašnej hacking.

No třeba pro funkční testování je to naprosto běžný postup.

[Eleshar_Vermillion]

Přesně, všude jinde je to poseto tlačítky "Export to Excel", jen tady žádné není (protože je to fakticky uprostřed transakce, takže to nejsou "hotová data", která má smysl reportovat), a i kdyby mi schválili ten service request (jakože neschválí), tak jsem na konci 2letého backlogu.