Quét web bằng JavaScript và Node.js

Trong hướng dẫn này, chúng tôi sẽ khám phá lý do tại sao sử dụng JavaScript giao diện người dùng có thể không phải là lựa chọn tối ưu để quét web và sẽ cung cấp cho bạn hướng dẫn từng bước về cách tạo trình quét web bằng Node.js từ đầu.

Quét web bằng JavaScript giao diện người dùng

Frontend JavaScript có những hạn chế khi quét web. Trước tiên, bạn cần phải thực thi tập lệnh quét web JavaScript trực tiếp từ bảng điều khiển trình duyệt, tập lệnh này không thể dễ dàng tự động hóa theo chương trình.

Thứ hai, nếu bạn định lấy dữ liệu từ các trang web khác nhau, thông thường bạn cần tìm nạp chúng bằng các yêu cầu AJAX. Tuy nhiên, điều quan trọng cần nhớ là các trình duyệt web thực thi Chính sách cùng nguồn gốc cho các yêu cầu AJAX. Điều này có nghĩa là, với JavaScript giao diện người dùng, bạn chỉ có thể truy cập các trang web có cùng nguồn gốc.

Để minh họa hạn chế này, hãy xem xét một ví dụ đơn giản. Giả sử bạn hiện đang truy cập một trang web trên Fineproxy.com. Trong trường hợp này, tập lệnh quét web JavaScript ở giao diện người dùng của bạn sẽ chỉ có thể tìm nạp các trang web trong miền Fineproxy.com.

Tuy nhiên, điều quan trọng cần lưu ý là điều này không có nghĩa là JavaScript không phù hợp cho việc thu thập dữ liệu web. Trên thực tế, Node.js cho phép bạn chạy JavaScript trên máy chủ, vượt qua các hạn chế nói trên một cách hiệu quả.

Bây giờ, hãy đi sâu vào cách bạn có thể tạo trình quét web JavaScript bằng Node.js.

Điều kiện tiên quyết

Trước khi bắt đầu xây dựng ứng dụng quét web Node.js, bạn phải đảm bảo rằng bạn có sẵn các điều kiện tiên quyết sau:

1. Node.js 18+ với npm 8+: Bạn có thể sử dụng bất kỳ phiên bản LTS (Hỗ trợ dài hạn) nào của Node.js 18+ cùng với npm. Để tham khảo, hướng dẫn này dựa trên Node.js 18.12 và npm 8.19, đại diện cho phiên bản LTS mới nhất của Node.js hiện có tại thời điểm viết bài.
2. Môi trường phát triển tích hợp (IDE) hỗ trợ JavaScript: Mặc dù hướng dẫn này sử dụng Phiên bản cộng đồng của IntelliJ IDEA làm IDE được lựa chọn, nhưng bạn có thể sử dụng bất kỳ IDE nào khác cung cấp hỗ trợ cho JavaScript và Node.js.

Bằng cách đáp ứng các điều kiện tiên quyết này, bạn sẽ được chuẩn bị tốt để tạo công cụ quét web của riêng mình bằng cách sử dụng JavaScript và Node.js.

Thư viện quét web JavaScript hàng đầu cho Node.js

Hãy cùng tìm hiểu một số thư viện JavaScript tốt nhất được thiết kế để quét web trong môi trường Node.js:

1. Axios: Axios là một thư viện thân thiện với người dùng giúp đơn giản hóa việc thực hiện các yêu cầu HTTP bằng JavaScript. Nó linh hoạt, có khả năng hoạt động trong cả môi trường trình duyệt và Node.js, đồng thời là một trong những ứng dụng khách JavaScript HTTP được sử dụng rộng rãi nhất.
2. Cheerio: Cheerio là một thư viện nhẹ cung cấp API giống jQuery để điều hướng các tài liệu HTML và XML. Với Cheerio, bạn có thể phân tích cú pháp tài liệu HTML, chọn các thành phần HTML cụ thể và trích xuất dữ liệu từ chúng. Về cơ bản, Cheerio cung cấp API quét web mạnh mẽ.
3. Selenium: Selenium là một thư viện toàn diện hỗ trợ nhiều ngôn ngữ lập trình và chủ yếu được sử dụng để tự động kiểm tra các ứng dụng web. Nó cũng tự hào có khả năng trình duyệt không có giao diện người dùng, khiến nó trở thành một công cụ có giá trị cho các tác vụ quét web.
4. Playwright: Được phát triển bởi Microsoft, Playwright đóng vai trò như một công cụ linh hoạt để tạo tập lệnh kiểm tra tự động cho các ứng dụng web. Nó cho phép bạn hướng dẫn trình duyệt thực hiện các hành động cụ thể, khiến nó trở thành lựa chọn phù hợp cho việc quét web, đặc biệt là ở chế độ trình duyệt không có giao diện người dùng.
5. Puppeteer: Puppeteer, một công cụ của Google, chuyên tự động hóa việc kiểm tra ứng dụng web. Được xây dựng trên giao thức Chrome DevTools, Puppeteer cho phép tương tác theo chương trình với trình duyệt, bắt chước hành động của người dùng. Để biết thêm thông tin chi tiết về sự khác biệt giữa Selenium và Puppeteer, hãy tham khảo hướng dẫn toàn diện của chúng tôi.

Xây dựng Trình quét web JavaScript trong Node.js

Trong phần này, bạn sẽ có được kinh nghiệm thực tế trong việc xây dựng trình quét web JavaScript trong môi trường Node.js. Nhiệm vụ của Scraper sẽ là tự động trích xuất dữ liệu từ trang chủ Fineproxy. Trong suốt hướng dẫn quét web Node.js này, bạn sẽ tìm hiểu cách nhắm mục tiêu các phần tử HTML cụ thể trên trang web, trích xuất dữ liệu có liên quan từ chúng và chuyển đổi dữ liệu đã được thu thập thành định dạng có cấu trúc và dễ sử dụng hơn.

Cách cạo dữ liệu bằng Node.js: Hướng dẫn từng bước kèm ví dụ

Bước 1: Thiết lập môi trường Node.js của bạn

Trước khi bắt đầu thu thập dữ liệu, bạn cần thiết lập môi trường Node.js của mình. Đây là cách bạn có thể làm điều đó:

Ví dụ:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

Bước 2: Tạo dự án Node.js mới

Bạn sẽ muốn tạo một dự án Node.js mới cho tác vụ thu thập dữ liệu của mình. Điều này giúp bạn quản lý các phần phụ thuộc một cách dễ dàng.

Ví dụ:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

Bước 3: Cài đặt các gói cần thiết

Để cạo dữ liệu một cách hiệu quả, bạn sẽ cần một số gói thiết yếu. Chúng tôi sẽ cài đặt Axios để thực hiện các yêu cầu HTTP và Cheerio để phân tích cú pháp HTML.

Ví dụ:

# Install Axios and Cheerio $ npm install axios cheerio

Bước 4: Thực hiện yêu cầu HTTP với Axios

Axios là một thư viện mạnh mẽ để thực hiện các yêu cầu HTTP. Bạn có thể sử dụng nó để tìm nạp các trang web.

Ví dụ:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

Bước 5: Phân tích HTML bằng Cheerio

Cheerio là một thư viện tuyệt vời để phân tích cú pháp HTML. Bạn có thể sử dụng nó để chọn và thao tác các thành phần trên trang web.

Ví dụ:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

Bước 6: Chọn và trích xuất dữ liệu

Bây giờ bạn có thể phân tích cú pháp HTML, bạn có thể chọn và trích xuất dữ liệu cụ thể từ một trang web.

Ví dụ:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

Bước 7: Xử lý phân trang

Nhiều trang web có nội dung được phân trang. Bạn cần xử lý phân trang để lấy dữ liệu từ nhiều trang.

Ví dụ:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

Bước 8: Lưu trữ dữ liệu cóp nhặt

Sau khi thu thập dữ liệu, bạn nên lưu trữ dữ liệu đó để sử dụng sau này. Bạn có thể lưu nó vào một tệp, cơ sở dữ liệu hoặc đám mây.

Ví dụ:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

Bước 9: Xử lý lỗi và ngoại lệ

Quét web không phải lúc nào cũng có lỗi. Bạn nên xử lý lỗi một cách khéo léo để đảm bảo máy cạp của bạn chạy trơn tru.

Ví dụ:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

Bước 10: Tôn trọng phép lịch sự và đạo đức

Điều quan trọng là phải trở thành người cạo có trách nhiệm và tuân theo các nguyên tắc đạo đức. Tránh làm quá tải các trang web với các yêu cầu và tôn trọng các điều khoản dịch vụ của họ.

Ví dụ:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

Bước 11: Chạy Trình quét web của bạn

Cuối cùng, đã đến lúc chạy trình quét web của bạn và theo dõi tiến trình của nó.

Ví dụ:

# Run your Node.js script $ node scraper.js

Trong hướng dẫn này, chúng ta đã khám phá những hạn chế của việc quét web ở giao diện người dùng bằng cách sử dụng JavaScript và thảo luận lý do tại sao Node.js lại nổi lên như một lựa chọn ưu việt. Ngoài ra, chúng tôi đã đi sâu vào các thành phần thiết yếu cần thiết để tạo tập lệnh quét web Node.js và kiểm tra quá trình trích xuất dữ liệu từ web bằng JavaScript. Cụ thể, bạn đã hiểu rõ hơn về việc khai thác sức mạnh của Cheerio và Axios để tạo ứng dụng quét web dựa trên JavaScript trong Node.js, tất cả đều được minh họa thông qua một ví dụ thực tế. Như bạn đã chứng kiến, việc quét web bằng Node.js có thể được thực hiện với hiệu quả vượt trội, thường chỉ cần một vài dòng mã.

Tuy nhiên, điều cần thiết là phải thừa nhận rằng việc quét web không phải lúc nào cũng là một nỗ lực đơn giản. Sự phức tạp này phát sinh từ vô số thách thức thường xuyên xuất hiện. Đáng chú ý, sự phổ biến của các biện pháp chống cào và chống bot đang ngày càng được quan tâm. May mắn thay, có một giải pháp giúp vượt qua những trở ngại này một cách dễ dàng: sử dụng công cụ quét web tiên tiến, tiên tiến do Fineproxy cung cấp.

Liên kết hữu ích:

https://www.npmjs.com/

https://nodejs.org/api/http.html