Web Scraping con JavaScript y Node.js

En esta guía, exploraremos por qué el uso de JavaScript frontend puede no ser la opción óptima para el web scraping y le proporcionaremos un tutorial paso a paso sobre la creación de un web scraper con Node.js desde cero.

Web Scraping con Frontend JavaScript

Frontend JavaScript tiene limitaciones cuando se trata de web scraping. En primer lugar, tendría que ejecutar su script JavaScript de web scraping directamente desde la consola del navegador, lo que no se puede automatizar fácilmente mediante programación.

En segundo lugar, si desea extraer datos de diferentes páginas web, normalmente tendrá que obtenerlos mediante solicitudes AJAX. Sin embargo, es esencial recordar que los navegadores web aplican una política de mismo origen para las peticiones AJAX. Esto significa que, con JavaScript frontend, sólo se puede acceder a páginas web dentro del mismo origen.

Para ilustrar esta limitación, veamos un ejemplo sencillo. Supongamos que está visitando una página web en fineproxy.com. En este escenario, su script de raspado web JavaScript frontend sólo sería capaz de obtener páginas web bajo el dominio fineproxy.com.

Sin embargo, es crucial señalar que esto no implica que JavaScript no sea adecuado para el rastreo web. De hecho, Node.js permite ejecutar JavaScript en servidores, evitando así las limitaciones antes mencionadas.

Ahora, vamos a profundizar en cómo se puede crear un raspador web JavaScript utilizando Node.js.

Requisitos previos

Antes de empezar a construir su aplicación de web scraping Node.js, debe asegurarse de que tiene los siguientes requisitos previos:

1. Node.js 18+ con npm 8+: Puedes usar cualquier versión LTS (Long Term Support) de Node.js 18+ junto con npm. Como referencia, este tutorial se basa en Node.js 18.12 y npm 8.19, que representa la última versión LTS de Node.js disponible en el momento de escribir este artículo.
2. Un Entorno de Desarrollo Integrado (IDE) que soporte JavaScript: Si bien este tutorial emplea la Community Edition de IntelliJ IDEA como IDE de elección, puede utilizar cualquier otro IDE que proporcione soporte para JavaScript y Node.js.

Si cumples estos requisitos previos, estarás bien preparado para crear tu propio raspador web utilizando JavaScript y Node.js.

Top JavaScript Web Scraping Librerías para Node.js

Profundicemos en algunas de las mejores bibliotecas JavaScript diseñadas para el web scraping dentro de un entorno Node.js:

1. Axios: Axios es una librería de fácil uso que simplifica la realización de peticiones HTTP en JavaScript. Es versátil, capaz de funcionar tanto en entornos de navegador como de Node.js, y se erige como uno de los clientes HTTP de JavaScript más utilizados.
2. Cheerio: Cheerio es una biblioteca ligera que ofrece una API similar a jQuery para navegar por documentos HTML y XML. Con Cheerio, puedes analizar documentos HTML, seleccionar elementos HTML específicos y extraer datos de ellos. Esencialmente, Cheerio provee una poderosa API de web scraping.
3. Selenium: Selenium es una completa biblioteca que soporta múltiples lenguajes de programación y se utiliza principalmente para la automatización de pruebas de aplicaciones web. También cuenta con capacidades de navegador sin cabeza, por lo que es una herramienta valiosa para tareas de web scraping.
4. Playwright: Desarrollado por Microsoft, Playwright es una herramienta versátil para crear scripts de prueba automatizados para aplicaciones web. Permite ordenar al navegador que realice acciones específicas, lo que la convierte en una opción adecuada para el web scraping, sobre todo en el modo de navegador headless.
5. Puppeteer: Puppeteer, una herramienta de Google, está especializada en la automatización de pruebas de aplicaciones web. Basado en el protocolo DevTools de Chrome, Puppeteer permite la interacción programática con el navegador, imitando las acciones del usuario humano. Para obtener más información sobre las diferencias entre Selenium y Puppeteer, consulte nuestra guía completa.

Creación de un raspador web JavaScript en Node.js

En esta sección, obtendrá experiencia práctica en la construcción de un raspador web JavaScript en un entorno Node.js. La misión del scraper será extraer datos de forma autónoma de la página de inicio de Fineproxy. A lo largo de este tutorial de raspado web en Node.js, aprenderá cómo apuntar a elementos HTML específicos en la página web, extraer datos relevantes de ellos, y transformar los datos raspados en un formato más estructurado y utilizable.

Cómo raspar datos con Node.js: Guía paso a paso con ejemplos

Paso 1: Configurar el entorno Node.js

Antes de empezar a hacer scraping, necesitas configurar tu entorno Node.js. Así es como puedes hacerlo:

Por ejemplo:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

Paso 2: Crear un nuevo proyecto Node.js

Querrás crear un nuevo proyecto Node.js para tu tarea de scraping. Esto te ayudará a gestionar las dependencias fácilmente.

Por ejemplo:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

Paso 3: Instalar los paquetes esenciales

Para raspar datos de forma efectiva, necesitarás algunos paquetes esenciales. Instalaremos Axios para hacer peticiones HTTP y Cheerio para analizar HTML.

Por ejemplo:

# Install Axios and Cheerio $ npm install axios cheerio

Paso 4: Realizar peticiones HTTP con Axios

Axios es una potente librería para realizar peticiones HTTP. Puedes usarla para obtener páginas web.

Por ejemplo:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

Paso 5: Parsear HTML con Cheerio

Cheerio es una gran biblioteca para analizar HTML. Puedes usarla para seleccionar y manipular elementos en una página web.

Por ejemplo:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

Paso 6: Seleccionar y extraer datos

Ahora que puede analizar HTML, puede seleccionar y extraer datos específicos de una página web.

Por ejemplo:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

Paso 7: Gestión de la paginación

Muchos sitios web tienen contenido paginado. Es necesario manejar la paginación para extraer datos de varias páginas.

Por ejemplo:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

Paso 8: Almacenar los datos obtenidos

Una vez recopilados los datos, debes almacenarlos para utilizarlos en el futuro. Puedes guardarlos en un archivo, en una base de datos o en la nube.

Por ejemplo:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

Paso 9: Gestión de errores y excepciones

El raspado web no siempre está libre de errores. Debe manejar los errores con elegancia para asegurar que su raspador funcione sin problemas.

Por ejemplo:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

Paso 10: Respetar la cortesía y la ética

Es crucial ser un scraper responsable y seguir unas directrices éticas. Evita sobrecargar los sitios web con peticiones y respeta sus condiciones de servicio.

Por ejemplo:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

Paso 11: Ejecute su Web Scraper

Por último, es hora de ejecutar el raspador web y supervisar su progreso.

Por ejemplo:

# Run your Node.js script $ node scraper.js

En este tutorial, hemos explorado las limitaciones del web scraping en el frontend usando JavaScript y discutido por qué Node.js emerge como una opción superior. Además, hemos profundizado en los componentes esenciales necesarios para elaborar un script de web scraping en Node.js y hemos examinado el proceso de extracción de datos de la web mediante JavaScript. Específicamente, ha obtenido información sobre cómo aprovechar el poder de Cheerio y Axios para crear una aplicación de web scraping basada en JavaScript dentro de Node.js, todo ilustrado a través de un ejemplo del mundo real. Como has visto, el web scraping con Node.js se puede lograr con notable eficiencia, a menudo requiriendo sólo unas pocas líneas de código.

Sin embargo, es esencial reconocer que el web scraping no siempre es una tarea sencilla. Esta complejidad se debe a los múltiples retos que se presentan con frecuencia. En particular, la proliferación de medidas anti-scraping y anti-bot es una preocupación creciente. Afortunadamente, existe una solución para sortear estos obstáculos sin esfuerzo: la utilización de una herramienta de raspado web avanzada y de vanguardia ofrecida por Fineproxy.

Enlaces útiles:

https://www.npmjs.com/

https://nodejs.org/api/http.html