Mengikis Web Menggunakan JavaScript dan Node.js

Dalam panduan ini, kami akan meneroka sebab menggunakan JavaScript bahagian hadapan mungkin bukan pilihan yang optimum untuk mengikis web dan akan memberikan anda tutorial langkah demi langkah tentang mencipta pengikis web dengan Node.js dari awal.

Mengikis Web dengan JavaScript Frontend

JavaScript Frontend mempunyai had apabila ia melibatkan pengikisan web. Pertama sekali, anda perlu melaksanakan skrip mengikis web JavaScript anda terus daripada konsol penyemak imbas, yang tidak boleh diautomatikkan dengan mudah secara pengaturcaraan.

Kedua, jika anda berhasrat untuk mengikis data daripada halaman web yang berbeza, anda biasanya perlu mengambilnya menggunakan permintaan AJAX. Walau bagaimanapun, adalah penting untuk diingat bahawa pelayar web menguatkuasakan Dasar Asal Sama untuk permintaan AJAX. Ini bermakna, dengan JavaScript bahagian hadapan, anda hanya boleh mengakses halaman web dalam asal yang sama.

Untuk menggambarkan batasan ini, mari kita pertimbangkan contoh mudah. Katakan anda sedang melawat halaman web di fineproxy.com. Dalam senario ini, skrip pengikisan web JavaScript bahagian hadapan anda hanya akan dapat mengambil halaman web di bawah domain fineproxy.com.

Walau bagaimanapun, adalah penting untuk ambil perhatian bahawa ini tidak membayangkan bahawa JavaScript tidak sesuai untuk merangkak web. Malah, Node.js membolehkan anda menjalankan JavaScript pada pelayan, dengan berkesan memintas batasan yang disebutkan di atas.

Sekarang, mari kita mendalami cara anda boleh membuat pengikis web JavaScript menggunakan Node.js.

Prasyarat

Sebelum anda mula membina aplikasi pengikisan web Node.js anda, anda mesti memastikan bahawa anda mempunyai prasyarat berikut:

1. Node.js 18+ dengan npm 8+: Anda boleh menggunakan mana-mana versi LTS (Sokongan Jangka Panjang) Node.js 18+ bersama-sama dengan npm. Sebagai rujukan, tutorial ini adalah berdasarkan Node.js 18.12 dan npm 8.19, yang mewakili versi LTS terkini Node.js yang tersedia pada masa penulisan.
2. Persekitaran Pembangunan Bersepadu (IDE) yang menyokong JavaScript: Walaupun tutorial ini menggunakan Edisi Komuniti IntelliJ IDEA sebagai IDE pilihan, anda boleh menggunakan mana-mana IDE lain yang menyediakan sokongan untuk JavaScript dan Node.js.

Dengan memenuhi prasyarat ini, anda akan bersedia untuk mencipta pengikis web anda sendiri menggunakan JavaScript dan Node.js.

Perpustakaan Mengikis Web JavaScript Teratas untuk Node.js

Mari kita mendalami beberapa perpustakaan JavaScript terbaik yang direka untuk mengikis web dalam persekitaran Node.js:

1. Axios: Axios ialah perpustakaan mesra pengguna yang memudahkan membuat permintaan HTTP dalam JavaScript. Ia serba boleh, mampu berfungsi dalam kedua-dua pelayar dan persekitaran Node.js, dan berdiri sebagai salah satu klien HTTP JavaScript yang paling banyak digunakan.
2. Cheerio: Cheerio ialah perpustakaan ringan yang menawarkan API seperti jQuery untuk menavigasi dokumen HTML dan XML. Dengan Cheerio, anda boleh menghuraikan dokumen HTML, memilih elemen HTML tertentu dan mengekstrak data daripadanya. Pada asasnya, Cheerio menyediakan API pengikisan web yang berkuasa.
3. Selenium: Selenium ialah perpustakaan komprehensif yang menyokong berbilang bahasa pengaturcaraan dan digunakan terutamanya untuk mengautomasikan ujian aplikasi web. Ia juga mempunyai keupayaan pelayar tanpa kepala, menjadikannya alat yang berharga untuk tugas mengikis web.
4. Playwright: Dibangunkan oleh Microsoft, Playwright berfungsi sebagai alat serba boleh untuk mencipta skrip ujian automatik untuk aplikasi web. Ia membolehkan anda mengarahkan penyemak imbas untuk melakukan tindakan tertentu, menjadikannya pilihan yang sesuai untuk mengikis web, terutamanya dalam mod penyemak imbas tanpa kepala.
5. Puppeteer: Puppeteer, alat daripada Google, pakar dalam mengautomasikan ujian aplikasi web. Dibina pada protokol Chrome DevTools, Puppeteer membenarkan interaksi terprogram dengan penyemak imbas, meniru tindakan pengguna manusia. Untuk mendapatkan lebih banyak maklumat tentang perbezaan antara Selenium dan Puppeteer, rujuk panduan komprehensif kami.

Membina Pengikis Web JavaScript dalam Node.js

Dalam bahagian ini, anda akan mendapat pengalaman praktikal dalam membina pengikis web JavaScript dalam persekitaran Node.js. Misi pengikis adalah untuk mengekstrak data secara autonomi daripada halaman utama Fineproxy. Sepanjang tutorial mengikis web Node.js ini, anda akan belajar cara menyasarkan elemen HTML tertentu pada halaman web, mengekstrak data yang berkaitan daripadanya dan mengubah data yang dikikis kepada format yang lebih berstruktur dan boleh digunakan.

Cara Mengikis Data dengan Node.js: Panduan Langkah demi Langkah dengan Contoh

Langkah 1: Sediakan Persekitaran Node.js Anda

Sebelum anda mula mengikis, anda perlu menyediakan persekitaran Node.js anda. Begini cara anda boleh melakukannya:

Contoh:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

Langkah 2: Buat Projek Node.js Baharu

Anda perlu membuat projek Node.js baharu untuk tugas mengikis anda. Ini membantu anda mengurus kebergantungan dengan mudah.

Contoh:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

Langkah 3: Pasang Pakej Penting

Untuk mengikis data dengan berkesan, anda memerlukan beberapa pakej penting. Kami akan memasang Axios untuk membuat permintaan HTTP dan Cheerio untuk menghuraikan HTML.

Contoh:

# Install Axios and Cheerio $ npm install axios cheerio

Langkah 4: Buat Permintaan HTTP dengan Axios

Axios ialah perpustakaan yang berkuasa untuk membuat permintaan HTTP. Anda boleh menggunakannya untuk mengambil halaman web.

Contoh:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

Langkah 5: Parsing HTML dengan Cheerio

Cheerio ialah perpustakaan yang hebat untuk menghuraikan HTML. Anda boleh menggunakannya untuk memilih dan memanipulasi elemen pada halaman web.

Contoh:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

Langkah 6: Pilih dan Ekstrak Data

Sekarang anda boleh menghuraikan HTML, anda boleh memilih dan mengekstrak data tertentu daripada halaman web.

Contoh:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

Langkah 7: Kendalikan Penomboran

Banyak laman web mempunyai kandungan berhalaman muka surat. Anda perlu mengendalikan penomboran untuk mengikis data daripada berbilang halaman.

Contoh:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

Langkah 8: Simpan Data Dikikis

Sebaik sahaja anda telah mengumpul data, anda harus menyimpannya untuk kegunaan masa hadapan. Anda boleh menyimpannya ke fail, pangkalan data atau awan.

Contoh:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

Langkah 9: Tangani Ralat dan Pengecualian

Pengikisan web tidak selalunya bebas ralat. Anda harus menangani ralat dengan anggun untuk memastikan pengikis anda berjalan dengan lancar.

Contoh:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

Langkah 10: Hormati Kesopanan dan Etika

Adalah penting untuk menjadi pengikis yang bertanggungjawab dan mengikut garis panduan etika. Elakkan membebankan tapak web dengan permintaan dan hormati syarat perkhidmatannya.

Contoh:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

Langkah 11: Jalankan Pengikis Web Anda

Akhir sekali, tiba masanya untuk menjalankan pengikis web anda dan memantau kemajuannya.

Contoh:

# Run your Node.js script $ node scraper.js

Dalam tutorial ini, kami telah meneroka had pengikisan web di bahagian hadapan menggunakan JavaScript dan membincangkan sebab Node.js muncul sebagai pilihan yang unggul. Selain itu, kami telah menyelidiki komponen penting yang diperlukan untuk membuat skrip pengikisan web Node.js dan memeriksa proses pengekstrakan data daripada web menggunakan JavaScript. Secara khususnya, anda telah mendapat cerapan untuk memanfaatkan kuasa Cheerio dan Axios untuk mencipta aplikasi mengikis web berasaskan JavaScript dalam Node.js, semuanya digambarkan melalui contoh dunia sebenar. Seperti yang telah anda saksikan, pengikisan web dengan Node.js boleh dicapai dengan kecekapan yang luar biasa, selalunya memerlukan hanya beberapa baris kod.

Walau bagaimanapun, adalah penting untuk mengakui bahawa mengikis web mungkin tidak selalu menjadi usaha yang mudah. Kerumitan ini timbul daripada pelbagai cabaran yang sering muncul. Terutamanya, percambahan langkah anti-mengikis dan anti-bot adalah kebimbangan yang semakin meningkat. Nasib baik, terdapat penyelesaian untuk menavigasi halangan ini dengan mudah: penggunaan alat mengikis web termaju yang ditawarkan oleh Fineproxy.

Pautan berguna:

https://www.npmjs.com/

https://nodejs.org/api/http.html