Web scrapen met JavaScript en Node.js

In deze handleiding zullen we onderzoeken waarom het gebruik van frontend JavaScript misschien niet de optimale keuze is voor webscraping en zullen we u een stapsgewijze tutorial geven over het helemaal opnieuw maken van een webscraper met Node.js.

Webscraping met frontend JavaScript

Frontend JavaScript heeft beperkingen als het gaat om webscraping. Ten eerste moet u uw JavaScript-webscraping-script rechtstreeks vanuit de browserconsole uitvoeren, wat niet eenvoudig programmatisch kan worden geautomatiseerd.

Ten tweede, als u van plan bent gegevens van verschillende webpagina's te verzamelen, moet u deze doorgaans ophalen met behulp van AJAX-verzoeken. Het is echter essentieel om te onthouden dat webbrowsers een Same-Origin Policy voor AJAX-verzoeken afdwingen. Dit betekent dat u met frontend JavaScript alleen toegang heeft tot webpagina's binnen dezelfde oorsprong.

Laten we, om deze beperking te illustreren, een eenvoudig voorbeeld bekijken. Stel dat u momenteel een webpagina op fineproxy.com bezoekt. In dit scenario kan uw frontend JavaScript-webscraping-script alleen webpagina's ophalen onder het fineproxy.com-domein.

Het is echter van cruciaal belang op te merken dat dit niet betekent dat JavaScript ongeschikt is voor webcrawling. Met Node.js kunt u JavaScript zelfs op servers uitvoeren, waardoor de bovengenoemde beperkingen effectief worden omzeild.

Laten we nu eens kijken hoe u een JavaScript-webschraper kunt maken met Node.js.

Vereisten

Voordat u begint met het bouwen van uw Node.js-webscraping-applicatie, moet u ervoor zorgen dat u aan de volgende vereisten voldoet:

1. Node.js 18+ met npm 8+: U kunt elke LTS-versie (Long Term Support) van Node.js 18+ samen met npm gebruiken. Ter referentie: deze tutorial is gebaseerd op Node.js 18.12 en npm 8.19, die de nieuwste LTS-versie van Node.js vertegenwoordigt die beschikbaar was op het moment van schrijven.
2. Een Integrated Development Environment (IDE) die JavaScript ondersteunt: Hoewel deze tutorial de Community-editie van IntelliJ IDEA gebruikt als de IDE bij uitstek, kunt u elke andere IDE gebruiken die ondersteuning biedt voor JavaScript en Node.js.

Door aan deze vereisten te voldoen, bent u goed voorbereid om uw eigen webschraper te maken met JavaScript en Node.js.

Top JavaScript-webscrapingbibliotheken voor Node.js

Laten we ons verdiepen in enkele van de beste JavaScript-bibliotheken die zijn ontworpen voor webscrapen binnen een Node.js-omgeving:

1. Axios: Axios is een gebruiksvriendelijke bibliotheek die het maken van HTTP-verzoeken in JavaScript vereenvoudigt. Het is veelzijdig, kan functioneren in zowel browser- als Node.js-omgevingen en is een van de meest gebruikte JavaScript HTTP-clients.
2. Cheerio: Cheerio is een lichtgewicht bibliotheek die een jQuery-achtige API biedt voor het navigeren door HTML- en XML-documenten. Met Cheerio kunt u HTML-documenten parseren, specifieke HTML-elementen selecteren en er gegevens uit extraheren. In wezen biedt Cheerio een krachtige webscraping-API.
3. Selenium: Selenium is een uitgebreide bibliotheek die meerdere programmeertalen ondersteunt en voornamelijk wordt gebruikt voor het automatiseren van het testen van webapplicaties. Het beschikt ook over headless browsermogelijkheden, waardoor het een waardevol hulpmiddel is voor webscraping-taken.
4. Playwright: Playwright is ontwikkeld door Microsoft en dient als een veelzijdige tool voor het maken van geautomatiseerde testscripts voor webapplicaties. Hiermee kunt u de browser opdracht geven specifieke acties uit te voeren, waardoor het een geschikte keuze is voor webscrapen, vooral in de headless browsermodus.
5. Puppeteer: Puppeteer, een tool van Google, is gespecialiseerd in het automatiseren van het testen van webapplicaties. Puppeteer is gebouwd op het Chrome DevTools-protocol en maakt programmatische interactie met de browser mogelijk, waarbij menselijke gebruikersacties worden nagebootst. Raadpleeg onze uitgebreide gids voor meer inzicht in het onderscheid tussen Selenium en Puppeteer.

Een JavaScript-webscraper bouwen in Node.js

In dit gedeelte doet u praktische ervaring op met het bouwen van een JavaScript-webschraper in een Node.js-omgeving. De missie van de scraper zal zijn om autonoom gegevens van de Fineproxy-startpagina te extraheren. In deze Node.js-webscraping-tutorial leert u hoe u specifieke HTML-elementen op de webpagina kunt targeten, relevante gegevens daaruit kunt extraheren en de geschraapte gegevens kunt transformeren in een meer gestructureerd en bruikbaar formaat.

Gegevens schrapen met Node.js: stapsgewijze handleiding met voorbeelden

Stap 1: Stel uw Node.js-omgeving in

Voordat u begint met scrapen, moet u uw Node.js-omgeving instellen. Hier ziet u hoe u het kunt doen:

Voorbeeld:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

Stap 2: Maak een nieuw Node.js-project

U wilt een nieuw Node.js-project maken voor uw scraping-taak. Hierdoor kunt u afhankelijkheden eenvoudig beheren.

Voorbeeld:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

Stap 3: Installeer essentiële pakketten

Om gegevens effectief te schrapen, hebt u enkele essentiële pakketten nodig. We installeren Axios voor het doen van HTTP-verzoeken en Cheerio voor het parseren van HTML.

Voorbeeld:

# Install Axios and Cheerio $ npm install axios cheerio

Stap 4: Maak HTTP-verzoeken met Axios

Axios is een krachtige bibliotheek voor het doen van HTTP-verzoeken. U kunt het gebruiken om webpagina's op te halen.

Voorbeeld:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

Stap 5: HTML parseren met Cheerio

Cheerio is een geweldige bibliotheek voor het parseren van HTML. U kunt het gebruiken om elementen op een webpagina te selecteren en te manipuleren.

Voorbeeld:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

Stap 6: Selecteer en extraheer gegevens

Nu u HTML kunt ontleden, kunt u specifieke gegevens uit een webpagina selecteren en extraheren.

Voorbeeld:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

Stap 7: Behandel paginering

Veel websites hebben gepagineerde inhoud. U moet paginering afhandelen om gegevens van meerdere pagina's te schrapen.

Voorbeeld:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

Stap 8: Bewaar geschraapte gegevens

Nadat u gegevens heeft verzameld, moet u deze opslaan voor toekomstig gebruik. U kunt het opslaan in een bestand, een database of in de cloud.

Voorbeeld:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

Stap 9: behandel fouten en uitzonderingen

Webscrapen is niet altijd foutloos. U moet fouten netjes afhandelen om ervoor te zorgen dat uw schraper soepel werkt.

Voorbeeld:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

Stap 10: Respecteer beleefdheid en ethiek

Het is van cruciaal belang om een verantwoordelijke schraper te zijn en ethische richtlijnen te volgen. Vermijd het overladen van websites met verzoeken en respecteer hun servicevoorwaarden.

Voorbeeld:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

Stap 11: Voer uw webschraper uit

Eindelijk is het tijd om uw webschraper uit te voeren en de voortgang ervan te volgen.

Voorbeeld:

# Run your Node.js script $ node scraper.js

In deze tutorial hebben we de beperkingen van webscraping in de frontend met JavaScript onderzocht en besproken waarom Node.js een superieure keuze blijkt te zijn. Daarnaast hebben we ons verdiept in de essentiële componenten die nodig zijn om een Node.js-webscrapingscript te maken en hebben we het proces van gegevensextractie van internet met JavaScript onderzocht. Je hebt met name inzicht gekregen in het benutten van de kracht van Cheerio en Axios om een op JavaScript gebaseerde webscraping-applicatie te maken binnen Node.js, allemaal geïllustreerd aan de hand van een voorbeeld uit de praktijk. Zoals u heeft gezien, kan webscrapen met Node.js met opmerkelijke efficiëntie worden bereikt, waarbij vaak slechts een paar regels code nodig zijn.

Het is echter essentieel om te erkennen dat webscrapen niet altijd een eenvoudige onderneming is. Deze complexiteit komt voort uit de talloze uitdagingen die zich vaak voordoen. Met name de proliferatie van anti-scraping- en anti-bot-maatregelen is een groeiende zorg. Gelukkig bestaat er een oplossing om moeiteloos door deze hindernissen te navigeren: het gebruik van een geavanceerde, geavanceerde webscraping-tool aangeboden door Fineproxy.

Handige links:

https://www.npmjs.com/

https://nodejs.org/api/http.html