Scraping Web avec JavaScript et Node.js

Dans ce guide, nous explorerons pourquoi l'utilisation de JavaScript frontend n'est peut-être pas le choix optimal pour le web scraping et vous fournirons un didacticiel étape par étape sur la création d'un web scraper avec Node.js à partir de zéro.

Web Scraping avec JavaScript frontend

Frontend JavaScript a des limites en matière de web scraping. Tout d’abord, vous devrez exécuter votre script de scraping Web JavaScript directement à partir de la console du navigateur, qui ne peut pas être facilement automatisé par programme.

Deuxièmement, si vous avez l'intention de récupérer des données de différentes pages Web, vous devrez généralement les récupérer à l'aide de requêtes AJAX. Cependant, il est essentiel de se rappeler que les navigateurs Web appliquent une politique de même origine pour les requêtes AJAX. Cela signifie qu'avec JavaScript frontend, vous ne pouvez accéder qu'aux pages Web de la même origine.

Pour illustrer cette limitation, prenons un exemple simple. Supposons que vous visitiez actuellement une page Web sur fineproxy.com. Dans ce scénario, votre script de scraping Web JavaScript frontal ne pourrait récupérer que les pages Web du domaine fineproxy.com.

Cependant, il est essentiel de noter que cela n’implique pas que JavaScript ne soit pas adapté à l’exploration du Web. En fait, Node.js vous permet d'exécuter JavaScript sur des serveurs, en contournant efficacement les limitations mentionnées ci-dessus.

Voyons maintenant comment créer un grattoir Web JavaScript à l'aide de Node.js.

Conditions préalables

Avant de commencer à créer votre application de scraping Web Node.js, vous devez vous assurer que les conditions préalables suivantes sont en place :

1. Node.js 18+ avec npm 8+ : vous pouvez utiliser n'importe quelle version LTS (Long Term Support) de Node.js 18+ avec npm. Pour référence, ce didacticiel est basé sur Node.js 18.12 et npm 8.19, qui représentent la dernière version LTS de Node.js disponible au moment de la rédaction.
2. Un environnement de développement intégré (IDE) prenant en charge JavaScript : bien que ce didacticiel utilise l'édition communautaire d'IntelliJ IDEA comme IDE de choix, vous pouvez utiliser n'importe quel autre IDE prenant en charge JavaScript et Node.js.

En remplissant ces conditions préalables, vous serez bien préparé pour créer votre propre web scraper à l'aide de JavaScript et Node.js.

Meilleures bibliothèques de scraping Web JavaScript pour Node.js

Examinons certaines des meilleures bibliothèques JavaScript conçues pour le web scraping dans un environnement Node.js :

1. Axios : Axios est une bibliothèque conviviale qui simplifie les requêtes HTTP en JavaScript. Il est polyvalent, capable de fonctionner à la fois dans les environnements de navigateur et Node.js, et constitue l'un des clients HTTP JavaScript les plus largement utilisés.
2. Cheerio : Cheerio est une bibliothèque légère qui offre une API de type jQuery pour naviguer dans les documents HTML et XML. Avec Cheerio, vous pouvez analyser des documents HTML, sélectionner des éléments HTML spécifiques et en extraire des données. Essentiellement, Cheerio fournit une puissante API de web scraping.
3. Selenium : Selenium est une bibliothèque complète qui prend en charge plusieurs langages de programmation et est principalement utilisée pour automatiser les tests d'applications Web. Il dispose également de fonctionnalités de navigateur sans tête, ce qui en fait un outil précieux pour les tâches de web scraping.
4. Playwright : Développé par Microsoft, Playwright sert d'outil polyvalent pour créer des scripts de test automatisés pour les applications Web. Il vous permet de demander au navigateur d'effectuer des actions spécifiques, ce qui en fait un choix approprié pour le web scraping, en particulier en mode navigateur sans tête.
5. Puppeteer : Puppeteer, un outil de Google, est spécialisé dans l'automatisation des tests d'applications Web. Construit sur le protocole Chrome DevTools, Puppeteer permet une interaction programmatique avec le navigateur, imitant les actions de l'utilisateur humain. Pour plus d’informations sur les distinctions entre Selenium et Puppeteer, reportez-vous à notre guide complet.

Création d'un Web Scraper JavaScript dans Node.js

Dans cette section, vous acquerrez une expérience pratique dans la création d'un grattoir Web JavaScript dans un environnement Node.js. La mission du scraper sera d'extraire de manière autonome les données de la page d'accueil de Fineproxy. Tout au long de ce didacticiel de scraping Web Node.js, vous apprendrez à cibler des éléments HTML spécifiques sur la page Web, à en extraire des données pertinentes et à transformer les données récupérées dans un format plus structuré et utilisable.

Comment récupérer des données avec Node.js : guide étape par étape avec des exemples

Étape 1 : Configurez votre environnement Node.js

Avant de commencer le scraping, vous devez configurer votre environnement Node.js. Voici comment procéder :

Exemple :

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

Étape 2 : Créer un nouveau projet Node.js

Vous souhaiterez créer un nouveau projet Node.js pour votre tâche de scraping. Cela vous aide à gérer facilement les dépendances.

Exemple :

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

Étape 3 : Installer les packages essentiels

Pour récupérer efficacement les données, vous aurez besoin de certains packages essentiels. Nous installerons Axios pour effectuer des requêtes HTTP et Cheerio pour analyser le HTML.

Exemple :

# Install Axios and Cheerio $ npm install axios cheerio

Étape 4 : Effectuer des requêtes HTTP avec Axios

Axios est une bibliothèque puissante pour effectuer des requêtes HTTP. Vous pouvez l'utiliser pour récupérer des pages Web.

Exemple :

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

Étape 5 : Analyser le HTML avec Cheerio

Cheerio est une excellente bibliothèque pour analyser le HTML. Vous pouvez l'utiliser pour sélectionner et manipuler des éléments sur une page Web.

Exemple :

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

Étape 6 : Sélectionner et extraire des données

Maintenant que vous pouvez analyser le HTML, vous pouvez sélectionner et extraire des données spécifiques d'une page Web.

Exemple :

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

Étape 7 : Gérer la pagination

De nombreux sites Web ont du contenu paginé. Vous devez gérer la pagination pour extraire les données de plusieurs pages.

Exemple :

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

Étape 8 : stocker les données récupérées

Une fois que vous avez collecté des données, vous devez les stocker pour une utilisation ultérieure. Vous pouvez l'enregistrer dans un fichier, une base de données ou dans le cloud.

Exemple :

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

Étape 9 : Gérer les erreurs et les exceptions

Le web scraping n’est pas toujours sans erreur. Vous devez gérer les erreurs avec élégance pour garantir le bon fonctionnement de votre grattoir.

Exemple :

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

Étape 10 : Respecter la politesse et l’éthique

Il est essentiel d'être un grattoir responsable et de suivre les directives éthiques. Évitez de surcharger les sites Web avec des demandes et respectez leurs conditions de service.

Exemple :

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

Étape 11 : Exécutez votre Web Scraper

Enfin, il est temps d'exécuter votre web scraper et de suivre sa progression.

Exemple :

# Run your Node.js script $ node scraper.js

Dans ce didacticiel, nous avons exploré les limites du web scraping dans le frontend à l'aide de JavaScript et expliqué pourquoi Node.js apparaît comme un choix supérieur. De plus, nous avons examiné les composants essentiels requis pour créer un script de scraping Web Node.js et examiné le processus d'extraction de données du Web à l'aide de JavaScript. Plus précisément, vous avez appris à exploiter la puissance de Cheerio et Axios pour créer une application de scraping Web basée sur JavaScript dans Node.js, le tout illustré à travers un exemple concret. Comme vous l'avez constaté, le web scraping avec Node.js peut être réalisé avec une efficacité remarquable, ne nécessitant souvent que quelques lignes de code.

Cependant, il est essentiel de reconnaître que le web scraping n’est pas toujours une tâche simple. Cette complexité découle de la myriade de défis qui se présentent fréquemment. La prolifération des mesures anti-grattage et anti-bots est notamment une préoccupation croissante. Heureusement, il existe une solution pour surmonter ces obstacles sans effort : l’utilisation d’un outil de web scraping avancé et de pointe proposé par Fineproxy.

Liens utiles :

https://www.npmjs.com/

https://nodejs.org/api/http.html