Web Scraping pomocí JavaScriptu a Node.js

V této příručce prozkoumáme, proč použití frontendového JavaScriptu nemusí být optimální volbou pro web scraping, a poskytneme vám podrobný návod, jak vytvořit webový škrabák s Node.js od začátku.

Web Scraping s frontend JavaScriptem

Frontend JavaScript má omezení, pokud jde o web scraping. Za prvé, budete muset spustit svůj JavaScript web scraping skript přímo z konzole prohlížeče, což nelze snadno programově automatizovat.

Za druhé, pokud máte v úmyslu sbírat data z různých webových stránek, obvykle je budete muset načíst pomocí požadavků AJAX. Je však nezbytné mít na paměti, že webové prohlížeče vynucují pro požadavky AJAX zásady stejného původu. To znamená, že s frontendovým JavaScriptem můžete přistupovat pouze k webovým stránkám v rámci stejného původu.

Pro ilustraci tohoto omezení uveďme jednoduchý příklad. Předpokládejme, že právě navštěvujete webovou stránku na fineproxy.com. V tomto scénáři by váš skript pro seškrabování webu v JavaScriptu frontendu byl schopen načíst webové stránky pouze pod doménou fineproxy.com.

Je však důležité poznamenat, že to neznamená, že JavaScript není vhodný pro procházení webu. Ve skutečnosti vám Node.js umožňuje spouštět JavaScript na serverech, čímž efektivně obchází výše uvedená omezení.

Nyní se pojďme ponořit do toho, jak můžete vytvořit webový škrabák JavaScript pomocí Node.js.

Předpoklady

Než začnete s vytvářením aplikace pro škrabání webu Node.js, musíte se ujistit, že máte splněny následující předpoklady:

1. Node.js 18+ s npm 8+: Spolu s npm můžete použít jakoukoli LTS (Long Term Support) verzi Node.js 18+. Pro informaci, tento tutoriál je založen na Node.js 18.12 a npm 8.19, což představuje nejnovější verzi LTS Node.js dostupnou v době psaní tohoto článku.
2. Integrované vývojové prostředí (IDE) podporující JavaScript: I když tento kurz využívá Community Edition IntelliJ IDEA jako zvolené IDE, můžete použít jakékoli jiné IDE, které poskytuje podporu pro JavaScript a Node.js.

Splněním těchto předpokladů budete dobře připraveni vytvořit si vlastní webový škrabák pomocí JavaScriptu a Node.js.

Nejlepší JavaScript Web Scraping knihovny pro Node.js

Pojďme se ponořit do některých z nejlepších knihoven JavaScriptu navržených pro web scraping v prostředí Node.js:

1. Axios: Axios je uživatelsky přívětivá knihovna, která zjednodušuje vytváření požadavků HTTP v JavaScriptu. Je všestranný, dokáže fungovat v prostředí prohlížeče i Node.js a je jedním z nejrozšířenějších JavaScriptových HTTP klientů.
2. Cheerio: Cheerio je odlehčená knihovna, která nabízí rozhraní API podobné jQuery pro navigaci v dokumentech HTML a XML. Pomocí Cheerio můžete analyzovat dokumenty HTML, vybrat konkrétní prvky HTML a extrahovat z nich data. Cheerio v podstatě poskytuje výkonné rozhraní API pro škrábání webu.
3. Selenium: Selenium je komplexní knihovna, která podporuje více programovacích jazyků a používá se především pro automatizaci testování webových aplikací. Může se také pochlubit funkcemi bezhlavého prohlížeče, což z něj činí cenný nástroj pro úlohy seškrabávání webu.
4. Playwright: Playwright vyvinutý společností Microsoft slouží jako všestranný nástroj pro vytváření automatických testovacích skriptů pro webové aplikace. Umožňuje vám dát prohlížeči pokyn k provedení konkrétních akcí, což z něj činí vhodnou volbu pro web scraping, zejména v režimu bezhlavého prohlížeče.
5. Puppeteer: Puppeteer, nástroj od Google, se specializuje na automatizaci testování webových aplikací. Puppeteer, postavený na protokolu Chrome DevTools, umožňuje programovou interakci s prohlížečem a napodobuje akce lidského uživatele. Další informace o rozdílech mezi selenem a loutkářem naleznete v našem komplexním průvodci.

Vytváření JavaScript Web Scraper v Node.js

V této části získáte praktické zkušenosti s konstrukcí webového škrabáku JavaScript v prostředí Node.js. Úkolem škrabáku bude autonomně extrahovat data z domovské stránky Fineproxy. V tomto výukovém programu pro seškrabování webu Node.js se naučíte, jak zacílit na konkrétní prvky HTML na webové stránce, extrahovat z nich relevantní data a transformovat seškrabovaná data do strukturovanějšího a použitelnějšího formátu.

Jak škrábat data pomocí Node.js: Podrobný průvodce s příklady

Krok 1: Nastavte prostředí Node.js

Než začnete se scrapingem, musíte si nastavit prostředí Node.js. Můžete to udělat takto:

Příklad:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

Krok 2: Vytvořte nový projekt Node.js

Budete chtít vytvořit nový projekt Node.js pro vaši úlohu seškrabávání. To vám pomůže snadno spravovat závislosti.

Příklad:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

Krok 3: Nainstalujte základní balíčky

Chcete-li efektivně seškrabovat data, budete potřebovat několik základních balíčků. Nainstalujeme Axios pro vytváření požadavků HTTP a Cheerio pro analýzu HTML.

Příklad:

# Install Axios and Cheerio $ npm install axios cheerio

Krok 4: Provádějte požadavky HTTP pomocí Axios

Axios je výkonná knihovna pro vytváření požadavků HTTP. Můžete jej použít k načtení webových stránek.

Příklad:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

Krok 5: Analyzujte HTML pomocí Cheerio

Cheerio je skvělá knihovna pro analýzu HTML. Můžete jej použít k výběru a manipulaci s prvky na webové stránce.

Příklad:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

Krok 6: Vyberte a extrahujte data

Nyní, když můžete analyzovat HTML, můžete vybrat a extrahovat konkrétní data z webové stránky.

Příklad:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

Krok 7: Zvládněte stránkování

Mnoho webových stránek má stránkovaný obsah. Chcete-li seškrábat data z více stránek, musíte zvládnout stránkování.

Příklad:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

Krok 8: Uložte smazaná data

Jakmile shromáždíte data, měli byste je uložit pro budoucí použití. Můžete jej uložit do souboru, databáze nebo cloudu.

Příklad:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

Krok 9: Řešení chyb a výjimek

Web scraping není vždy bezchybný. S chybami byste měli zacházet elegantně, abyste zajistili hladký chod škrabky.

Příklad:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

Krok 10: Respektujte zdvořilost a etiku

Je důležité být zodpovědným škrabadlem a dodržovat etické zásady. Vyhněte se přetěžování webových stránek požadavky a respektujte jejich podmínky služby.

Příklad:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

Krok 11: Spusťte svůj Web Scraper

Konečně je čas spustit webovou škrabku a sledovat její průběh.

Příklad:

# Run your Node.js script $ node scraper.js

V tomto tutoriálu jsme prozkoumali omezení webového scrapingu ve frontendu pomocí JavaScriptu a diskutovali o tom, proč se Node.js ukazuje jako nejlepší volba. Kromě toho jsme se ponořili do základních komponent potřebných k vytvoření skriptu pro stírání webu Node.js a prozkoumali jsme proces extrakce dat z webu pomocí JavaScriptu. Konkrétně jste získali přehled o využití síly Cheerio a Axios k vytvoření webové aplikace pro stírání založené na JavaScriptu v rámci Node.js, vše ilustrované na příkladu ze skutečného světa. Jak jste viděli, web scraping pomocí Node.js lze provádět s pozoruhodnou účinností, často vyžaduje jen několik řádků kódu.

Je však nezbytné si uvědomit, že škrábání webu nemusí být vždy jednoduché. Tato složitost vyplývá z nesčetných výzev, které se často objevují. Pozoruhodné je, že šíření opatření proti škrábání a botům je stále větším problémem. Naštěstí existuje řešení, jak tyto překážky bez námahy překonat: využití špičkového, pokročilého nástroje pro škrábání webu, který nabízí Fineproxy.

Užitečné odkazy:

https://www.npmjs.com/

https://nodejs.org/api/http.html