जावास्क्रिप्ट और Node.js का उपयोग करके वेब स्क्रैपिंग

इस गाइड में, हम यह पता लगाएंगे कि फ्रंटएंड जावास्क्रिप्ट का उपयोग वेब स्क्रैपिंग के लिए इष्टतम विकल्प क्यों नहीं हो सकता है और आपको स्क्रैच से Node.js के साथ एक वेब स्क्रैपर बनाने पर चरण-दर-चरण ट्यूटोरियल प्रदान करेगा।

फ्रंटएंड जावास्क्रिप्ट के साथ वेब स्क्रैपिंग

जब वेब स्क्रैपिंग की बात आती है तो फ्रंटएंड जावास्क्रिप्ट की सीमाएँ होती हैं। सबसे पहले, आपको अपनी जावास्क्रिप्ट वेब स्क्रैपिंग स्क्रिप्ट को सीधे ब्राउज़र कंसोल से निष्पादित करने की आवश्यकता होगी, जिसे आसानी से प्रोग्रामेटिक रूप से स्वचालित नहीं किया जा सकता है।

दूसरे, यदि आप विभिन्न वेब पेजों से डेटा स्क्रैप करना चाहते हैं, तो आपको आमतौर पर उन्हें AJAX अनुरोधों का उपयोग करके लाने की आवश्यकता होगी। हालाँकि, यह याद रखना आवश्यक है कि वेब ब्राउज़र AJAX अनुरोधों के लिए समान-उत्पत्ति नीति लागू करते हैं। इसका मतलब यह है कि, फ्रंटएंड जावास्क्रिप्ट के साथ, आप केवल उसी मूल के वेब पेजों तक पहुंच सकते हैं।

इस सीमा को स्पष्ट करने के लिए, आइए एक सरल उदाहरण पर विचार करें। मान लीजिए कि आप वर्तमान में Fineproxy.com पर एक वेब पेज पर जा रहे हैं। इस परिदृश्य में, आपकी फ्रंटएंड जावास्क्रिप्ट वेब स्क्रैपिंग स्क्रिप्ट केवल Fineproxy.com डोमेन के अंतर्गत वेब पेज लाने में सक्षम होगी।

हालाँकि, यह ध्यान रखना महत्वपूर्ण है कि इसका मतलब यह नहीं है कि जावास्क्रिप्ट वेब क्रॉलिंग के लिए अनुपयुक्त है। वास्तव में, Node.js आपको उपरोक्त सीमाओं को प्रभावी ढंग से दरकिनार करते हुए सर्वर पर जावास्क्रिप्ट चलाने में सक्षम बनाता है।

अब, आइए जानें कि आप Node.js का उपयोग करके जावास्क्रिप्ट वेब स्क्रैपर कैसे बना सकते हैं।

आवश्यक शर्तें

इससे पहले कि आप अपना Node.js वेब स्क्रैपिंग एप्लिकेशन बनाना शुरू करें, आपको यह सुनिश्चित करना होगा कि आपके पास निम्नलिखित शर्तें हैं:

1. Node.js 18+ npm 8+ के साथ: आप npm के साथ Node.js 18+ के किसी भी LTS (दीर्घकालिक समर्थन) संस्करण का उपयोग कर सकते हैं। संदर्भ के लिए, यह ट्यूटोरियल Node.js 18.12 और npm 8.19 पर आधारित है, जो लेखन के समय उपलब्ध Node.js के नवीनतम LTS संस्करण का प्रतिनिधित्व करता है।
2. जावास्क्रिप्ट का समर्थन करने वाला एक एकीकृत विकास पर्यावरण (आईडीई): जबकि यह ट्यूटोरियल पसंद के आईडीई के रूप में IntelliJ IDEA के सामुदायिक संस्करण को नियोजित करता है, आप किसी अन्य आईडीई का उपयोग कर सकते हैं जो जावास्क्रिप्ट और Node.js के लिए समर्थन प्रदान करता है।

इन पूर्वावश्यकताओं को पूरा करके, आप JavaScript और Node.js का उपयोग करके अपना स्वयं का वेब स्क्रैपर बनाने के लिए अच्छी तरह से तैयार होंगे।

Node.js के लिए शीर्ष जावास्क्रिप्ट वेब स्क्रैपिंग लाइब्रेरी

आइए Node.js परिवेश में वेब स्क्रैपिंग के लिए डिज़ाइन की गई कुछ सर्वोत्तम जावास्क्रिप्ट लाइब्रेरीज़ के बारे में जानें:

1. एक्सियोस: एक्सियोस एक उपयोगकर्ता-अनुकूल लाइब्रेरी है जो जावास्क्रिप्ट में HTTP अनुरोध करना सरल बनाती है। यह बहुमुखी है, ब्राउज़र और Node.js दोनों वातावरणों में कार्य करने में सक्षम है, और सबसे व्यापक रूप से उपयोग किए जाने वाले जावास्क्रिप्ट HTTP क्लाइंट में से एक है।
2. चीयरियो: चीयरियो एक हल्की लाइब्रेरी है जो HTML और XML दस्तावेज़ों को नेविगेट करने के लिए jQuery जैसी एपीआई प्रदान करती है। चीयरियो के साथ, आप HTML दस्तावेज़ों को पार्स कर सकते हैं, विशिष्ट HTML तत्वों का चयन कर सकते हैं और उनसे डेटा निकाल सकते हैं। मूलतः, चीयरियो एक शक्तिशाली वेब स्क्रैपिंग एपीआई प्रदान करता है।
3. सेलेनियम: सेलेनियम एक व्यापक पुस्तकालय है जो कई प्रोग्रामिंग भाषाओं का समर्थन करता है और मुख्य रूप से वेब अनुप्रयोगों के परीक्षण को स्वचालित करने के लिए उपयोग किया जाता है। इसमें हेडलेस ब्राउज़र क्षमताएं भी हैं, जो इसे वेब स्क्रैपिंग कार्यों के लिए एक मूल्यवान टूल बनाती है।
4. नाटककार: माइक्रोसॉफ्ट द्वारा विकसित, नाटककार वेब अनुप्रयोगों के लिए स्वचालित परीक्षण स्क्रिप्ट बनाने के लिए एक बहुमुखी उपकरण के रूप में कार्य करता है। यह आपको ब्राउज़र को विशिष्ट क्रियाएं करने का निर्देश देने में सक्षम बनाता है, जिससे यह वेब स्क्रैपिंग के लिए एक उपयुक्त विकल्प बन जाता है, विशेष रूप से हेडलेस ब्राउज़र मोड में।
5. कठपुतली: कठपुतली, Google का एक उपकरण, वेब एप्लिकेशन परीक्षण को स्वचालित करने में माहिर है। Chrome DevTools प्रोटोकॉल पर निर्मित, Puppeteer मानव उपयोगकर्ता क्रियाओं की नकल करते हुए, ब्राउज़र के साथ प्रोग्रामेटिक इंटरैक्शन की अनुमति देता है। सेलेनियम और कठपुतली के बीच अंतर के बारे में अधिक जानकारी के लिए, हमारी व्यापक मार्गदर्शिका देखें।

Node.js में एक जावास्क्रिप्ट वेब स्क्रैपर का निर्माण

इस अनुभाग में, आप Node.js वातावरण में जावास्क्रिप्ट वेब स्क्रैपर के निर्माण में व्यावहारिक अनुभव प्राप्त करेंगे। स्क्रेपर का मिशन फाइनप्रॉक्सी होमपेज से स्वायत्त रूप से डेटा निकालना होगा। इस पूरे Node.js वेब स्क्रैपिंग ट्यूटोरियल में, आप सीखेंगे कि वेबपेज पर विशिष्ट HTML तत्वों को कैसे लक्षित किया जाए, उनसे प्रासंगिक डेटा कैसे निकाला जाए और स्क्रैप किए गए डेटा को अधिक संरचित और उपयोगी प्रारूप में कैसे बदला जाए।

Node.js के साथ डेटा कैसे स्क्रैप करें: उदाहरणों के साथ चरण-दर-चरण मार्गदर्शिका

चरण 1: अपना Node.js वातावरण सेट करें

इससे पहले कि आप स्क्रैपिंग शुरू करें, आपको अपना Node.js वातावरण सेट करना होगा। यहां बताया गया है कि आप यह कैसे कर सकते हैं:

उदाहरण:

# Install Node.js (if not already installed) $ curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash - $ sudo apt-get install -y nodejs # Check Node.js and npm versions $ node -v $ npm -v

चरण 2: एक नया Node.js प्रोजेक्ट बनाएं

आप अपने स्क्रैपिंग कार्य के लिए एक नया Node.js प्रोजेक्ट बनाना चाहेंगे। इससे आपको निर्भरताओं को आसानी से प्रबंधित करने में मदद मिलती है।

उदाहरण:

# Create a new directory for your project $ mkdir web-scraper $ cd web-scraper # Initialize a new Node.js project $ npm init -y

चरण 3: आवश्यक पैकेज स्थापित करें

डेटा को प्रभावी ढंग से परिमार्जन करने के लिए, आपको कुछ आवश्यक पैकेजों की आवश्यकता होगी। हम HTTP अनुरोध करने के लिए Axios और HTML पार्स करने के लिए Cheerio इंस्टॉल करेंगे।

उदाहरण:

# Install Axios and Cheerio $ npm install axios cheerio

चरण 4: एक्सियोस के साथ HTTP अनुरोध करें

HTTP अनुरोध करने के लिए Axios एक शक्तिशाली लाइब्रेरी है। आप इसका उपयोग वेब पेज लाने के लिए कर सकते हैं।

उदाहरण:

const axios = require('axios'); // Make a GET request axios.get('https://example.com') .then((response) => { // Handle the response here }) .catch((error) => { // Handle errors });

चरण 5: चीयरियो के साथ HTML को पार्स करें

HTML को पार्स करने के लिए Cheerio एक बेहतरीन लाइब्रेरी है। आप इसका उपयोग किसी वेब पेज पर तत्वों का चयन और हेरफेर करने के लिए कर सकते हैं।

उदाहरण:

const cheerio = require('cheerio'); // Load HTML content const html = '<h1>Hello, World!</h1>'; const $ = cheerio.load(html); // Select and extract data const heading = $('h1').text(); console.log(heading); // Output: Hello, World!

चरण 6: डेटा चुनें और निकालें

अब जब आप HTML को पार्स कर सकते हैं, तो आप वेब पेज से विशिष्ट डेटा का चयन और निकाल सकते हैं।

उदाहरण:

// Select and extract links const links = $('a'); links.each((index, element) => { const link = $(element).attr('href'); console.log(link); });

चरण 7: पेजिनेशन संभालें

कई वेबसाइटों में सामग्री को पृष्ठांकित किया गया है। आपको कई पेजों से डेटा निकालने के लिए पेजिनेशन को संभालना होगा।

उदाहरण:

// Scrape data from multiple pages async function scrapeMultiplePages() { for (let page = 1; page <= 5; page++) { const response = await axios.get(`https://example.com/page/${page}`); const $ = cheerio.load(response.data); // Extract data from the current page // (Example: scraping a list of articles) } }

चरण 8: स्क्रैप किए गए डेटा को स्टोर करें

एक बार जब आप डेटा एकत्र कर लें, तो आपको इसे भविष्य में उपयोग के लिए संग्रहीत करना चाहिए। आप इसे किसी फ़ाइल, डेटाबेस या क्लाउड में सहेज सकते हैं।

उदाहरण:

// Save scraped data to a JSON file const fs = require('fs'); const dataToSave = { /* your data here */ }; fs.writeFileSync('data.json', JSON.stringify(dataToSave));

चरण 9: त्रुटियों और अपवादों को संभालें

वेब स्क्रैपिंग हमेशा त्रुटि-मुक्त नहीं होती है। यह सुनिश्चित करने के लिए कि आपका स्क्रैपर सुचारू रूप से चले, आपको त्रुटियों को शालीनता से संभालना चाहिए।

उदाहरण:

// Handle errors when making requests axios.get('https://example.com') .then((response) => { // Handle success }) .catch((error) => { console.error('Error:', error.message); });

चरण 10: विनम्रता और नैतिकता का सम्मान करें

एक जिम्मेदार स्क्रैपर बनना और नैतिक दिशानिर्देशों का पालन करना महत्वपूर्ण है। वेबसाइटों पर अनुरोधों की अधिकता से बचें और उनकी सेवा की शर्तों का सम्मान करें।

उदाहरण:

// Set a delay between requests to be polite const delay = (ms) => new Promise(resolve => setTimeout(resolve, ms)); async function politeScraping() { for (let page = 1; page <= 5; page++) { await axios.get(`https://example.com/page/${page}`); await delay(1000); // Delay for 1 second between requests } }

चरण 11: अपना वेब स्क्रैपर चलाएँ

अंततः, अब आपके वेब स्क्रैपर को चलाने और उसकी प्रगति की निगरानी करने का समय आ गया है।

उदाहरण:

# Run your Node.js script $ node scraper.js

इस ट्यूटोरियल में, हमने जावास्क्रिप्ट का उपयोग करके फ्रंटएंड में वेब स्क्रैपिंग की सीमाओं का पता लगाया है और चर्चा की है कि Node.js एक बेहतर विकल्प के रूप में क्यों उभरता है। इसके अतिरिक्त, हमने Node.js वेब स्क्रैपिंग स्क्रिप्ट को तैयार करने के लिए आवश्यक आवश्यक घटकों की गहराई से जांच की है और जावास्क्रिप्ट का उपयोग करके वेब से डेटा निष्कर्षण की प्रक्रिया की जांच की है। विशेष रूप से, आपने Node.js के भीतर एक जावास्क्रिप्ट-आधारित वेब स्क्रैपिंग एप्लिकेशन बनाने के लिए चीयरियो और एक्सियोस की शक्ति का उपयोग करने में अंतर्दृष्टि प्राप्त की है, जिसे वास्तविक दुनिया के उदाहरण के माध्यम से चित्रित किया गया है। जैसा कि आपने देखा है, Node.js के साथ वेब स्क्रैपिंग को उल्लेखनीय दक्षता के साथ पूरा किया जा सकता है, जिसके लिए अक्सर कोड की केवल कुछ पंक्तियों की आवश्यकता होती है।

हालाँकि, यह स्वीकार करना आवश्यक है कि वेब स्क्रैपिंग हमेशा एक सीधा प्रयास नहीं हो सकता है। यह जटिलता उन असंख्य चुनौतियों से उत्पन्न होती है जो बार-बार सामने आती हैं। विशेष रूप से, एंटी-स्क्रैपिंग और एंटी-बॉट उपायों का प्रसार एक बढ़ती चिंता का विषय है। सौभाग्य से, इन बाधाओं को आसानी से पार करने के लिए एक समाधान मौजूद है: फाइनप्रॉक्सी द्वारा पेश किए गए अत्याधुनिक, उन्नत वेब स्क्रैपिंग टूल का उपयोग।

उपयोगी कड़ियां:

https://www.npmjs.com/

https://nodejs.org/api/http.html