تجريف الويب باستخدام JavaScript وNode.js

في هذا الدليل، سنستكشف لماذا قد لا يكون استخدام JavaScript للواجهة الأمامية هو الخيار الأمثل لتجميع الويب وسنزودك ببرنامج تعليمي خطوة بخطوة حول إنشاء أداة استخراج بيانات الويب باستخدام Node.js من البداية.

تجريف الويب باستخدام JavaScript للواجهة الأمامية

لدى Frontend JavaScript قيود عندما يتعلق الأمر بتجميع الويب. أولاً، ستحتاج إلى تنفيذ البرنامج النصي لمسح الويب الخاص بـ JavaScript مباشرةً من وحدة تحكم المتصفح، وهو ما لا يمكن تشغيله آليًا بسهولة برمجيًا.

ثانيًا، إذا كنت تنوي استخراج البيانات من صفحات ويب مختلفة، فستحتاج عادةً إلى جلبها باستخدام طلبات AJAX. ومع ذلك، من الضروري أن تتذكر أن متصفحات الويب تفرض سياسة المصدر نفسه لطلبات AJAX. وهذا يعني أنه باستخدام جافا سكريبت للواجهة الأمامية، يمكنك فقط الوصول إلى صفحات الويب الموجودة في نفس الأصل.

لتوضيح هذا القيد، دعونا نفكر في مثال بسيط. لنفترض أنك تزور حاليًا صفحة ويب على موقع Fineproxy.com. في هذا السيناريو، لن يتمكن البرنامج النصي لمسح الويب JavaScript للواجهة الأمامية لديك إلا من جلب صفحات الويب ضمن نطاق Fineproxy.com.

ومع ذلك، من المهم ملاحظة أن هذا لا يعني أن JavaScript غير مناسب للزحف على الويب. في الواقع، يمكّنك Node.js من تشغيل JavaScript على الخوادم، وتجاوز القيود المذكورة أعلاه بشكل فعال.

الآن، دعنا نتعمق في كيفية إنشاء أداة استخراج بيانات الويب JavaScript باستخدام Node.js.

المتطلبات الأساسية

قبل البدء في إنشاء تطبيق Node.js الخاص بك لاستخلاص البيانات من الويب، يجب عليك التأكد من توفر المتطلبات الأساسية التالية:

1. Node.js 18+ مع npm 8+: يمكنك استخدام أي إصدار LTS (دعم طويل الأمد) من Node.js 18+ مع npm. كمرجع، يعتمد هذا البرنامج التعليمي على Node.js 18.12 وnpm 8.19، والذي يمثل أحدث إصدار LTS من Node.js المتوفر في وقت كتابة هذا التقرير.
2. بيئة تطوير متكاملة (IDE) تدعم JavaScript: بينما يستخدم هذا البرنامج التعليمي الإصدار المجتمعي من IntelliJ IDEA باعتباره IDE المفضل، يمكنك استخدام أي IDE آخر يوفر الدعم لـ JavaScript وNode.js.

من خلال استيفاء هذه المتطلبات الأساسية، ستكون مستعدًا جيدًا لإنشاء أداة استخراج الويب الخاصة بك باستخدام JavaScript وNode.js.

أفضل مكتبات تجريف الويب لجافا سكريبت لـ Node.js

دعنا نتعمق في بعض أفضل مكتبات JavaScript المصممة لاستخراج الويب داخل بيئة Node.js:

1. Axios: Axios هي مكتبة سهلة الاستخدام تعمل على تبسيط إجراء طلبات HTTP في JavaScript. إنه متعدد الاستخدامات، وقادر على العمل في كل من بيئات المتصفح وNode.js، ويعتبر أحد عملاء JavaScript HTTP الأكثر استخدامًا.
2. Cheerio: Cheerio هي مكتبة خفيفة الوزن توفر واجهة برمجة تطبيقات تشبه jQuery للتنقل في مستندات HTML وXML. باستخدام Cheerio، يمكنك تحليل مستندات HTML، وتحديد عناصر HTML محددة، واستخراج البيانات منها. بشكل أساسي، توفر Cheerio واجهة برمجة تطبيقات قوية لمسح الويب.
3. السيلينيوم: السيلينيوم عبارة عن مكتبة شاملة تدعم لغات برمجة متعددة وتستخدم بشكل أساسي لأتمتة اختبار تطبيقات الويب. كما أنه يتميز بقدرات المتصفح بدون رأس، مما يجعله أداة قيمة لمهام تجريف الويب.
4. الكاتب المسرحي: تم تطويره بواسطة Microsoft، ويعمل Playwright كأداة متعددة الاستخدامات لإنشاء نصوص اختبار تلقائية لتطبيقات الويب. فهو يمكّنك من توجيه المتصفح لتنفيذ إجراءات محددة، مما يجعله خيارًا مناسبًا لتجريد الويب، خاصة في وضع المتصفح بدون رأس.
5. Puppeteer: Puppeteer، إحدى أدوات Google، متخصصة في أتمتة اختبار تطبيقات الويب. يسمح Puppeteer، المبني على بروتوكول Chrome DevTools، بالتفاعل البرمجي مع المتصفح، ومحاكاة تصرفات المستخدم البشري. لمزيد من الأفكار حول الفروق بين السيلينيوم ومحرك الدمى، راجع دليلنا الشامل.

بناء مكشطة ويب جافا سكريبت في Node.js

في هذا القسم، ستكتسب خبرة عملية في إنشاء أداة استخراج بيانات الويب JavaScript في بيئة Node.js. ستكون مهمة أداة الكشط هي استخراج البيانات بشكل مستقل من الصفحة الرئيسية لـ Fineproxy. خلال هذا البرنامج التعليمي لمسح الويب Node.js، ستتعلم كيفية استهداف عناصر HTML محددة على صفحة الويب، واستخراج البيانات ذات الصلة منها، وتحويل البيانات المسروقة إلى تنسيق أكثر تنظيمًا وقابل للاستخدام.

كيفية استخراج البيانات باستخدام Node.js: دليل خطوة بخطوة مع الأمثلة

الخطوة 1: إعداد بيئة Node.js الخاصة بك

قبل أن تبدأ في استخراج البيانات، تحتاج إلى إعداد بيئة Node.js الخاصة بك. وإليك كيف يمكنك القيام بذلك:

مثال:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

الخطوة 2: إنشاء مشروع Node.js جديد

ستحتاج إلى إنشاء مشروع Node.js جديد لمهمة التجريد الخاصة بك. وهذا يساعدك على إدارة التبعيات بسهولة.

مثال:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

الخطوة 3: تثبيت الحزم الأساسية

لتجميع البيانات بفعالية، ستحتاج إلى بعض الحزم الأساسية. سنقوم بتثبيت Axios لتقديم طلبات HTTP وCheerio لتحليل HTML.

مثال:

# Install Axios and Cheerio $ npm install axios cheerio

الخطوة 4: تقديم طلبات HTTP باستخدام Axios

Axios هي مكتبة قوية لتقديم طلبات HTTP. يمكنك استخدامه لجلب صفحات الويب.

مثال:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

الخطوة 5: تحليل HTML باستخدام Cheerio

Cheerio هي مكتبة رائعة لتحليل HTML. يمكنك استخدامه لتحديد العناصر الموجودة على صفحة الويب ومعالجتها.

مثال:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

الخطوة 6: تحديد واستخراج البيانات

الآن بعد أن أصبح بإمكانك تحليل HTML، يمكنك تحديد واستخراج بيانات محددة من صفحة ويب.

مثال:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

الخطوة 7: التعامل مع ترقيم الصفحات

تحتوي العديد من مواقع الويب على محتوى مرقّم. تحتاج إلى التعامل مع ترقيم الصفحات لاستخراج البيانات من صفحات متعددة.

مثال:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

الخطوة 8: تخزين البيانات المسروقة

بمجرد الانتهاء من جمع البيانات، يجب عليك تخزينها لاستخدامها في المستقبل. يمكنك حفظه في ملف أو قاعدة بيانات أو السحابة.

مثال:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

الخطوة 9: التعامل مع الأخطاء والاستثناءات

لا يكون تجريف الويب دائمًا خاليًا من الأخطاء. يجب عليك التعامل مع الأخطاء بأمان لضمان تشغيل المكشطة بسلاسة.

مثال:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

الخطوة 10: احترام المداراة والأخلاق

من الضروري أن تكون كاشطًا مسؤولاً وأن تتبع الإرشادات الأخلاقية. تجنب التحميل الزائد على مواقع الويب بالطلبات واحترم شروط الخدمة الخاصة بها.

مثال:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

الخطوة 11: قم بتشغيل مكشطة الويب الخاصة بك

أخيرًا، حان الوقت لتشغيل مكشطة الويب الخاصة بك ومراقبة تقدمها.

مثال:

# Run your Node.js script $ node scraper.js

في هذا البرنامج التعليمي، اكتشفنا القيود المفروضة على استخراج الويب في الواجهة الأمامية باستخدام JavaScript وناقشنا سبب ظهور Node.js كخيار متميز. بالإضافة إلى ذلك، لقد بحثنا في المكونات الأساسية المطلوبة لصياغة برنامج نصي لاستخلاص البيانات من الويب Node.js وفحصنا عملية استخراج البيانات من الويب باستخدام JavaScript. على وجه التحديد، لقد اكتسبت رؤى حول تسخير قوة Cheerio وAxios لإنشاء تطبيق استخراج الويب المستند إلى JavaScript داخل Node.js، وكل ذلك موضح من خلال مثال من العالم الحقيقي. كما شهدت، يمكن إجراء تجريف الويب باستخدام Node.js بكفاءة ملحوظة، وغالبًا ما يتطلب ذلك بضعة أسطر فقط من التعليمات البرمجية.

ومع ذلك، فمن الضروري أن ندرك أن تجريف الويب قد لا يكون دائمًا مسعى بسيطًا. وينشأ هذا التعقيد من التحديات التي لا تعد ولا تحصى والتي تطرح نفسها في كثير من الأحيان. ومن الجدير بالذكر أن انتشار تدابير مكافحة الكشط ومكافحة الروبوتات يشكل مصدر قلق متزايد. لحسن الحظ، يوجد حل للتغلب على هذه العقبات دون عناء: استخدام أداة استخراج الويب المتطورة والمتقدمة التي تقدمها Fineproxy.

روابط مفيدة:

https://www.npmjs.com/

https://nodejs.org/api/http.html