छिपे हुए API का उपयोग करके मेगामार्केट एडमिन पैनल को कैसे पार्स करें?

गतिशील वेबसाइटों को पार्स करना एक चुनौतीपूर्ण कार्य हो सकता है, खासकर जब सामग्री जावास्क्रिप्ट का उपयोग करके ऑन-द-फ्लाई उत्पन्न की जाती है। यह लेख आपको छिपे हुए API का उपयोग करके मेगामार्केट एडमिन पैनल को पार्स करने की प्रक्रिया के माध्यम से मार्गदर्शन करेगा। इस लेख के अंत तक, आप सीखेंगे कि आपको जिस डेटा की आवश्यकता है उसे कुशलतापूर्वक निकालने के लिए छिपे हुए API को कैसे खोजना और उपयोग करना है।

मेगामार्केट क्या है?

मेगामार्केट, जिसे पहले Sbermegamarket के नाम से जाना जाता था, रूस में सबसे बड़े ऑनलाइन मार्केटप्लेस में से एक है। यह उत्पादों और सेवाओं की एक विस्तृत श्रृंखला प्रदान करता है। हालाँकि, यह अपने डेटा तक पहुँचने के लिए कोई सार्वजनिक API प्रदान नहीं करता है, जिससे डेटा निष्कर्षण के लिए वैकल्पिक तरीके खोजने पड़ते हैं।

पार्सिंग के लिए छिपे हुए API का उपयोग क्यों करें?

पार्सिंग के लिए छिपे हुए API का उपयोग करना अक्सर पारंपरिक वेब स्क्रैपिंग विधियों की तुलना में अधिक विश्वसनीय और कुशल होता है। छिपे हुए API आपको जावास्क्रिप्ट द्वारा उत्पन्न HTML सामग्री को पार्स करने की आवश्यकता को दरकिनार करते हुए, सर्वर से सीधे डेटा तक पहुँचने की अनुमति देते हैं।

उपकरण और सेटअप

इस ट्यूटोरियल का अनुसरण करने के लिए आपको निम्नलिखित उपकरणों की आवश्यकता होगी:

• अजगर: एक बहुमुखी प्रोग्रामिंग भाषा.
• अनुरोध लाइब्रेरी: HTTP अनुरोध करने के लिए.
• पांडा लाइब्रेरी: डेटा को संभालने और हेरफेर करने के लिए।
• ब्राउज़र डेवलपर उपकरण: नेटवर्क अनुरोधों का निरीक्षण करने के लिए.

चरण-दर-चरण मार्गदर्शिका

1. अपना वातावरण स्थापित करना

शुरू करने से पहले, सुनिश्चित करें कि आपके मशीन पर Python इंस्टॉल है। आप pip का उपयोग करके आवश्यक लाइब्रेरीज़ इंस्टॉल कर सकते हैं:

<code>pip install requests pandas</code>

2. नेटवर्क अनुरोधों का निरीक्षण करना

अपना ब्राउज़र खोलें और मेगामार्केट एडमिन पैनल पर जाएँ। अपने क्रेडेंशियल का उपयोग करके लॉग इन करें। डेवलपर टूल खोलें (आमतौर पर F12 दबाकर या पेज पर राइट-क्लिक करके और “इंस्पेक्ट” चुनकर)।

नेटवर्क अनुरोधों की निगरानी के लिए “नेटवर्क” टैब पर जाएँ। सभी अनुरोधों को कैप्चर करने के लिए पेज को रिफ्रेश करें। आप जिस डेटा को निकालना चाहते हैं, उससे संबंधित अनुरोधों को देखें। इन अनुरोधों में आमतौर पर ऐसे एंडपॉइंट होते हैं जो JSON डेटा लौटाते हैं।

3. छिपे हुए API की पहचान करना

उस अनुरोध की पहचान करें जो आपको आवश्यक डेटा लौटाता है। इस मामले में, मान लें कि आप बिक्री डेटा निकालना चाहते हैं। ऐसे URL वाले अनुरोध की तलाश करें जिसमें “आँकड़े” या “विश्लेषण” जैसे शब्द शामिल हों।

आपको क्या मिल सकता है, इसका एक उदाहरण यहां दिया गया है:

<mark style="background-color:rgba(0, 0, 0, 0)" class="has-inline-color has-black-color"><code>https://partner.market.ru/api/v1/stats/get-sales-data</code></mark>

4. अनुरोध का विश्लेषण

अनुरोध पर क्लिक करके उसका विवरण देखें। निम्नलिखित बातों पर ध्यान दें:

• अनुरोध यूआरएल: अंतिम बिंदु यूआरएल.
• अनुरोध विधि: आमतौर पर POST या GET.
• हेडर: आवश्यक हेडर जैसे प्राधिकरण टोकन.
• पेलोड: अनुरोध के साथ भेजा गया डेटा.

यहां एक नमूना पेलोड है जिसे आप देख सकते हैं:

<code>{
  "date_from": "2024-05-01",
  "date_to": "2024-05-31",
  "filters": {
    "category_id": "12345"
  }
}</code>

5. पायथन स्क्रिप्ट लिखना

अब, आइए इस अनुरोध का अनुकरण करने और डेटा निकालने के लिए एक पायथन स्क्रिप्ट लिखें।

import requests
import pandas as pd

# Set the endpoint URL and headers
url = 'https://partner.market.ru/api/v1/stats/get-sales-data'
headers = {
    'Authorization': 'Bearer your_token_here',
    'Content-Type': 'application/json'
}

# Define the payload
payload = {
    "date_from": "2024-05-01",
    "date_to": "2024-05-31",
    "filters": {
        "category_id": "12345"
    }
}

# Send the request
response = requests.post(url, headers=headers, json=payload)

# Check if the request was successful
if response.status_code == 200:
    data = response.json()
    df = pd.DataFrame(data['goods'])
    print(df.head())
else:
    print(f"Failed to retrieve data: {response.status_code}")

6. सत्र आईडी को संभालना

यदि अनुरोध के लिए सत्र आईडी की आवश्यकता है, तो आपको इस सत्र आईडी को प्राप्त करने के लिए लॉगिन प्रक्रिया को स्वचालित करना होगा। यहाँ एक उदाहरण दिया गया है:

login_url = 'https://partner.market.ru/api/v1/auth/login'
login_payload = {
    'username': 'your_username',
    'password': 'your_password'
}

# Perform login to get session ID
login_response = requests.post(login_url, json=login_payload)
session_id = login_response.json().get('session_id')

# Update headers with session ID
headers.update({'Session-ID': session_id})

# Now send the request with updated headers
response = requests.post(url, headers=headers, json=payload)
if response.status_code == 200:
    data = response.json()
    df = pd.DataFrame(data['goods'])
    print(df.head())
else:
    print(f"Failed to retrieve data: {response.status_code}")

सामान्य समस्याएं और समस्या निवारण

• अमान्य सत्र आईडी: सुनिश्चित करें कि आप सही ढंग से लॉग इन कर रहे हैं और हेडर में सत्र आईडी अपडेट हो रही है।
• दर सीमाएँ: कुछ API की दर सीमाएँ हो सकती हैं। सुनिश्चित करें कि आप कम समय में बहुत ज़्यादा अनुरोध न भेजें।
• प्राधिकरण त्रुटियाँजांचें कि क्या आपका टोकन या क्रेडेंशियल सही है।

तालिका उदाहरण: बिक्री डेटा

यहां एक उदाहरण दिया गया है कि आप पांडा का उपयोग करके निकाले गए बिक्री डेटा को तालिका में कैसे संरचित कर सकते हैं:

निष्कर्ष

छिपे हुए API का उपयोग करके मेगामार्केट एडमिन पैनल को पार्स करने से पारंपरिक वेब स्क्रैपिंग विधियों की तुलना में समय और प्रयास की बचत हो सकती है। इस गाइड का पालन करके, आप अपने विश्लेषणात्मक या व्यावसायिक उद्देश्यों के लिए आवश्यक डेटा को कुशलतापूर्वक निकाल सकते हैं। हमेशा सुनिश्चित करें कि आपके पास डेटा तक पहुँचने और उसका उपयोग करने के लिए आवश्यक अनुमतियाँ हैं।