IT pro otrlé

O lidech, o vztazích, o politice, o názorech, o opicích a o ufonech.

Moderátor: Faskal

Odpovědět
Uživatelský avatar
OnGe
malý zelený křečopažout
Příspěvky: 10217
Registrován: 5. 2. 2010, 09:27
Bydliště: Prdelná lhota (čti Praha)
Kontaktovat uživatele:

Re: IT pro otrlé

Příspěvek od OnGe » 1. 7. 2019, 11:17

coalback
Nežít je jediná životní prohra

výběr z vlastní zahrádky:



:idea: RPG kuchyně: 2010 - 2013 - 2017
:?: Horní progressbar - to se budete divit... možná
:?: Dolní progressbar - dávám tomu rok... maximálně dva

Uživatelský avatar
Eleshar_Vermillion
černá eminence
Příspěvky: 14110
Registrován: 18. 6. 2003, 20:31
Bydliště: Praha

Re: IT pro otrlé

Příspěvek od Eleshar_Vermillion » 12. 7. 2019, 20:23

Mám webovou stránku (vskutečnosti korporátní systém), kterou v podstatě celou generuje javascript, který sahá někam do nějakých databází. Výsledek je ten, že ve View Page Source vidím asi 300 linků na ty různé skripty, které to teda generují. Ale v Developer View mi Inspector normálně ukazuje ten vygenerovaný HTML kód. Jak se k tomuto lze nějak automaticky dostat, aby to bylo možné zkopírovat do nějakého TXT?
Úplně nejlepší by bylo nějaké firefoxí API aktivovatelné přes nějaký super-cool programovací jazyk, třeba excelový VBA :s_grin:
\\[T]// PRAISE THE SUN! \\[T]//

Uživatelský avatar
OnGe
malý zelený křečopažout
Příspěvky: 10217
Registrován: 5. 2. 2010, 09:27
Bydliště: Prdelná lhota (čti Praha)
Kontaktovat uživatele:

Re: IT pro otrlé

Příspěvek od OnGe » 12. 7. 2019, 21:18

Přiznej se, že ty se nás jenom snažíš zblbnout cizíme slovama
Nežít je jediná životní prohra

výběr z vlastní zahrádky:



:idea: RPG kuchyně: 2010 - 2013 - 2017
:?: Horní progressbar - to se budete divit... možná
:?: Dolní progressbar - dávám tomu rok... maximálně dva

Uživatelský avatar
York
Příspěvky: 11329
Registrován: 24. 2. 2012, 17:31

Re: IT pro otrlé

Příspěvek od York » 12. 7. 2019, 21:29

Eleshar: To budeš asi muset pogooglit. Na mě vyskočilo třeba tohle, nevím, jestli ti to pomůže.

Uživatelský avatar
Eleshar_Vermillion
černá eminence
Příspěvky: 14110
Registrován: 18. 6. 2003, 20:31
Bydliště: Praha

Re: IT pro otrlé

Příspěvek od Eleshar_Vermillion » 13. 7. 2019, 09:55

OnGe píše:
12. 7. 2019, 21:18
Přiznej se, že ty se nás jenom snažíš zblbnout cizíme slovama
Možná spíš jen debilníma, protože na to nemám termity (i když York to pochopil). Internety mi napovídají, že to, co chci udělat, se jmenuje webscraping dynamicky generované stránky. V podstatě potřebuju dostat data z té stránky do Excelu, abych je pak mohl dostat do jiného, debilního, korporátního systému.

Našel jsem, že existuje cosi jménem Selenium IDE, které udělá cosi jako API v browseru, a pak jsem našel VBA knihovnu, která to API umožní volat, což je asi to, co potřebuju, jen to nefachá, protože tu knihovnu už 2 roky nikdo neudržuje a má to zastaralé ovladače prohlížečů.

York:
Ano, toto v podstatě potřebuju, jen bych to nějak potřeboval automatisovat, aby to kopírovalo vnitřek DIVu, který je dost hluboko, a hlavně bez interakce s tím Inspectorem.
\\[T]// PRAISE THE SUN! \\[T]//

Uživatelský avatar
York
Příspěvky: 11329
Registrován: 24. 2. 2012, 17:31

Re: IT pro otrlé

Příspěvek od York » 13. 7. 2019, 11:15

Eleshar_Vermillion píše:
13. 7. 2019, 09:55
hlavně bez interakce s tím Inspectorem.
To html vyrobí až přímo browser, takže jinak než interakcí s browserem to nepůjde.


Možná mě napadlo řešení:

1) Napiš si vlastní html stránku, do ní dej iframe a v něm zobraz tu stránku, ze které chceš získat html.
2) V té vlastní stánce si napiš skript, který přečte document.documentElement.innerHTML a ten string pošle na server, kde se to savne do souboru.


edit: Ale popravdě to je strašnej hacking. Měl bys ty tada brát rovnou ze zdroje, ne z webové stránky, která je prezentuje.

Uživatelský avatar
Eleshar_Vermillion
černá eminence
Příspěvky: 14110
Registrován: 18. 6. 2003, 20:31
Bydliště: Praha

Re: IT pro otrlé

Příspěvek od Eleshar_Vermillion » 13. 7. 2019, 17:39

Potřebuju, aby to zvládli používat moji kolegové. Zatím mám makro, které dělá Alt+Tab, Ctrl+A, Ctrl+C, Alt+Tab, Ctrl+V, a pak to začistí a parsuje, ale dost by se mi tam hodilo mít to HTML, protože jinak je to parsování trochu hádání z křišťálové koule.
\\[T]// PRAISE THE SUN! \\[T]//

Uživatelský avatar
York
Příspěvky: 11329
Registrován: 24. 2. 2012, 17:31

Re: IT pro otrlé

Příspěvek od York » 13. 7. 2019, 17:48

Ok, zkusím to vysvětlit líp:

:arrow? iframe je html komponenta, do který můžeš vložit celou jinou stránku. Můžeš si třeba udělat vlastní web a mít v něm v malym okně RPG fórum.

:arrow? document.documentElement.innerHTML je textové html aktuálního dokumentu (v zásadě to, co chceš). Přečíst ho můžeš javascriptem. Na to, aby smohl pustit na stránce javascript, to ale musí bejt tvoje stránka (respektive můžeš ho taky ručně napsat do konzole, ale to už to z ní můžeš rovnou rušně vykopírovat). To zařídí právě ten iframe - dáš tu cílovou stránku do svojí stránky a přečteš si html svojí stránky, která tu cílovou stránku obsahuje.


:arrow? Máš teda html v nějaké proměnné v javascriptu. A chceš ho někam uložit. Přímo z browseru se ukládat nedá, ale dají se data někam poslat (přes web sockety, POST, apod.) čili si je pošleš na svůj server a tam už je můžeš uložit.

(Varoval jsem, že to nebude jednoduchý).


PS: Tím, že bys měl data číst rovnou ze zdroje, jsem myslel databázi, ze které data čte ta webová stránka, kterou chceš parsovat. Kdyby to bylo třeba RPG fórum, tak bys měl data vytáhnout SQL dotazem z databáze RPG fóra a ne je parsovat z html v browseru.

Uživatelský avatar
Eleshar_Vermillion
černá eminence
Příspěvky: 14110
Registrován: 18. 6. 2003, 20:31
Bydliště: Praha

Re: IT pro otrlé

Příspěvek od Eleshar_Vermillion » 13. 7. 2019, 17:59

Chápu, co myslíš, ale jak říkám, potřebuju, aby to zvládli používat kolegové a nerozbíjelo jim to workflow (krom toho, že bych to nezvládl a do databáze by mě nikdy nepustili).
Potřebuju něco, co nahradí manuální označení prvku a nakopírování do Excelu (což se při té transakci musí udělat 5-15x).
Napadlo mě, že by to ještě mohl zvládnout nějaký plugin v browseru?
A jinak si nepřipadám jako hacker, ale jako někdo, kdo zatlouká hřebík motorovou pilou.
\\[T]// PRAISE THE SUN! \\[T]//

Sosacek
Příspěvky: 21404
Registrován: 14. 7. 2004, 18:30

Re: IT pro otrlé

Příspěvek od Sosacek » 13. 7. 2019, 18:05

Tohle by si zaslouzilo nekolik slajdu na predmetu "Integrace informacnich systemu" na FIT CVUT.
"Are you man or a woman?" "I'm a villian."
"What gender are you?" "Evil."
"Yeah, but what's in your pans?" "Doom."

Uživatelský avatar
OnGe
malý zelený křečopažout
Příspěvky: 10217
Registrován: 5. 2. 2010, 09:27
Bydliště: Prdelná lhota (čti Praha)
Kontaktovat uživatele:

Re: IT pro otrlé

Příspěvek od OnGe » 13. 7. 2019, 19:02

Můžeš sem na to, co chceš scrapovat, dát odkaz?
Nežít je jediná životní prohra

výběr z vlastní zahrádky:



:idea: RPG kuchyně: 2010 - 2013 - 2017
:?: Horní progressbar - to se budete divit... možná
:?: Dolní progressbar - dávám tomu rok... maximálně dva

Uživatelský avatar
Eleshar_Vermillion
černá eminence
Příspěvky: 14110
Registrován: 18. 6. 2003, 20:31
Bydliště: Praha

Re: IT pro otrlé

Příspěvek od Eleshar_Vermillion » 13. 7. 2019, 19:13

Nejde, je to korporátní systém pod SSO, navíc samozřejmě ta data nelze publikovat. V podstatě je to krok business procesu, který říká, co se děje (jaká data se mění na jaká data), a ty v podstatě děláš jen sanity check. Pak to odklepneš a za normálních okolností ti to vygeneruje samo dokument z dotyčných dat a pošle to data do finančního systému, který je s tím naintegrovaný a do databáze vůbec koukat nepotřebuješ (a ani se to nečeká, že kdy budeš, pokud nejsi admin).

Já ale řeším zemi, která má jazykové požadavky, které neumožňují implementaci toho vytváření dokumentu, takže to musíme dělat my manuálně, a rovněž nejsme na globálním finančním systému, ale na 30-let starém lokálním bulšitu, se kterým nejde nic integrovat, protože dodavatel už to nepodporuje. Takže potřebuju nacpat data do Excelu, abych z nich vygeneroval bumážku a namapoval je do formátu, ve kterém to cvičené opičky na straně dodavatele systému do systému zvládnou nabušit tak, že když tam jsou chyby, tak jim to můžeme vyčítat.
\\[T]// PRAISE THE SUN! \\[T]//

Uživatelský avatar
OnGe
malý zelený křečopažout
Příspěvky: 10217
Registrován: 5. 2. 2010, 09:27
Bydliště: Prdelná lhota (čti Praha)
Kontaktovat uživatele:

Re: IT pro otrlé

Příspěvek od OnGe » 13. 7. 2019, 21:04

Njn, a mě se zrovna v pátek rozbila křišťálová koule. Tak potom asi jediné, co ti k tomu můžu poradit, je vykašlat se na to, protože pokusem o automatizaci ztratíš zhruba tolik času, co se tou automatizací ušetří, budeš se při tom chtít zabít a když to nebude úplně 100% bude to tvoje chyba a budeš to muset urychleně řešit. Zase.
Nežít je jediná životní prohra

výběr z vlastní zahrádky:



:idea: RPG kuchyně: 2010 - 2013 - 2017
:?: Horní progressbar - to se budete divit... možná
:?: Dolní progressbar - dávám tomu rok... maximálně dva

Uživatelský avatar
Invictus
Nerozhodný volič
Příspěvky: 7066
Registrován: 21. 11. 2005, 02:33
Bydliště: Brno
Kontaktovat uživatele:

Re: IT pro otrlé

Příspěvek od Invictus » 13. 7. 2019, 21:44

Eleshar_Vermillion píše:
13. 7. 2019, 19:13
Já ale řeším zemi, která má jazykové požadavky, které neumožňují implementaci toho vytváření dokumentu
Kdyby to nebyl korporát, tak bych řešil tohle.
Myslím si, že udělat skript nebo použít nějaký tool, který ti vytáhne data přímo z requestu (ajax, iframe, whatever), nebo z vygenerované stránky, a vloží třeba do csv, je relativně snadná věc. Hlavní je to dobře zmapovat, dobře ošetřit výjimky, a otestovat před používáním. Pochybuju, že by ta automatizace zabrala o moc více než tak 30x provedení toho úkonu manuálně.

York:
Ale popravdě to je strašnej hacking.
No třeba pro funkční testování je to naprosto běžný postup. :wink:
Iron Within
Iron Without

Uživatelský avatar
Eleshar_Vermillion
černá eminence
Příspěvky: 14110
Registrován: 18. 6. 2003, 20:31
Bydliště: Praha

Re: IT pro otrlé

Příspěvek od Eleshar_Vermillion » 14. 7. 2019, 13:08

Přesně, všude jinde je to poseto tlačítky "Export to Excel", jen tady žádné není (protože je to fakticky uprostřed transakce, takže to nejsou "hotová data", která má smysl reportovat), a i kdyby mi schválili ten service request (jakože neschválí), tak jsem na konci 2letého backlogu.
\\[T]// PRAISE THE SUN! \\[T]//

Odpovědět

Zpět na „Realita a pseudorealita“

Kdo je online

Uživatelé prohlížející si toto fórum: Žádní registrovaní uživatelé a 1 host