മറഞ്ഞിരിക്കുന്ന API-കൾ ഉപയോഗിച്ച് മെഗാമാർക്കറ്റ് അഡ്‌മിൻ പാനൽ എങ്ങനെ പാഴ്‌സ് ചെയ്യാം?

ഡൈനാമിക് വെബ്‌സൈറ്റുകൾ പാഴ്‌സിംഗ് ചെയ്യുന്നത് ഒരു വെല്ലുവിളി നിറഞ്ഞ ജോലിയാണ്, പ്രത്യേകിച്ചും ജാവാസ്ക്രിപ്റ്റ് ഉപയോഗിച്ച് ഉള്ളടക്കം സൃഷ്ടിക്കുമ്പോൾ. മറഞ്ഞിരിക്കുന്ന API-കൾ ഉപയോഗിച്ച് മെഗാമാർക്കറ്റ് അഡ്‌മിൻ പാനൽ പാഴ്‌സ് ചെയ്യുന്ന പ്രക്രിയയിലൂടെ ഈ ലേഖനം നിങ്ങളെ നയിക്കും. ഈ ലേഖനത്തിൻ്റെ അവസാനത്തോടെ, നിങ്ങൾക്ക് ആവശ്യമായ ഡാറ്റ കാര്യക്ഷമമായി എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിന് മറഞ്ഞിരിക്കുന്ന API-കൾ എങ്ങനെ കണ്ടെത്താമെന്നും ഉപയോഗിക്കാമെന്നും നിങ്ങൾ പഠിക്കും.

എന്താണ് മെഗാമാർക്കറ്റ്?

മെഗാമാർക്കറ്റ്, മുമ്പ് Sbermegamarket എന്നറിയപ്പെട്ടിരുന്നു, റഷ്യയിലെ ഏറ്റവും വലിയ ഓൺലൈൻ വിപണികളിൽ ഒന്നാണ്. ഇത് വൈവിധ്യമാർന്ന ഉൽപ്പന്നങ്ങളും സേവനങ്ങളും വാഗ്ദാനം ചെയ്യുന്നു. എന്നിരുന്നാലും, അതിൻ്റെ ഡാറ്റ ആക്‌സസ്സുചെയ്യുന്നതിന് ഇത് ഒരു പൊതു API നൽകുന്നില്ല, ഇത് ഡാറ്റ എക്‌സ്‌ട്രാക്‌ഷനായി ഇതര രീതികൾ കണ്ടെത്തേണ്ടത് ആവശ്യമാണ്.

പാഴ്‌സിംഗിനായി എന്തുകൊണ്ടാണ് ഹിഡൻ എപിഐകൾ ഉപയോഗിക്കുന്നത്?

പരമ്പരാഗത വെബ് സ്ക്രാപ്പിംഗ് രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ പാഴ്‌സിംഗിനായി മറഞ്ഞിരിക്കുന്ന API-കൾ ഉപയോഗിക്കുന്നത് കൂടുതൽ വിശ്വസനീയവും കാര്യക്ഷമവുമാണ്. JavaScript സൃഷ്ടിച്ച HTML ഉള്ളടക്കം പാഴ്‌സ് ചെയ്യേണ്ടതിൻ്റെ ആവശ്യകത മറികടന്ന്, സെർവറിൽ നിന്ന് നേരിട്ട് ഡാറ്റ ആക്‌സസ് ചെയ്യാൻ മറഞ്ഞിരിക്കുന്ന API-കൾ നിങ്ങളെ അനുവദിക്കുന്നു.

ഉപകരണങ്ങളും സജ്ജീകരണവും

ഈ ട്യൂട്ടോറിയലിനൊപ്പം പിന്തുടരുന്നതിന്, നിങ്ങൾക്ക് ഇനിപ്പറയുന്ന ഉപകരണങ്ങൾ ആവശ്യമാണ്:

• പൈത്തൺ: ഒരു ബഹുമുഖ പ്രോഗ്രാമിംഗ് ഭാഷ.
• ലൈബ്രറി അഭ്യർത്ഥിക്കുന്നു: HTTP അഭ്യർത്ഥനകൾ നടത്തുന്നതിന്.
• പാണ്ഡാസ് ലൈബ്രറി: ഡാറ്റ കൈകാര്യം ചെയ്യുന്നതിനും കൈകാര്യം ചെയ്യുന്നതിനും.
• ബ്രൗസർ ഡെവലപ്പർ ടൂളുകൾ: നെറ്റ്‌വർക്ക് അഭ്യർത്ഥനകൾ പരിശോധിക്കാൻ.

ഘട്ടം ഘട്ടമായുള്ള ഗൈഡ്

1. നിങ്ങളുടെ പരിസ്ഥിതി സജ്ജീകരിക്കുക

ആരംഭിക്കുന്നതിന് മുമ്പ്, നിങ്ങളുടെ മെഷീനിൽ പൈത്തൺ ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക. പൈപ്പ് ഉപയോഗിച്ച് നിങ്ങൾക്ക് ആവശ്യമായ ലൈബ്രറികൾ ഇൻസ്റ്റാൾ ചെയ്യാൻ കഴിയും:

<code>pip install requests pandas</code>

2. നെറ്റ്‌വർക്ക് അഭ്യർത്ഥനകൾ പരിശോധിക്കുന്നു

നിങ്ങളുടെ ബ്രൗസർ തുറന്ന് മെഗാമാർക്കറ്റ് അഡ്മിൻ പാനലിലേക്ക് നാവിഗേറ്റ് ചെയ്യുക. നിങ്ങളുടെ ക്രെഡൻഷ്യലുകൾ ഉപയോഗിച്ച് ലോഗിൻ ചെയ്യുക. ഡെവലപ്പർ ടൂളുകൾ തുറക്കുക (സാധാരണയായി F12 അമർത്തുകയോ പേജിൽ വലത്-ക്ലിക്കുചെയ്ത് "പരിശോധിക്കുക" തിരഞ്ഞെടുക്കുകയോ ചെയ്യുക).

നെറ്റ്‌വർക്ക് അഭ്യർത്ഥനകൾ നടത്തുന്നത് നിരീക്ഷിക്കാൻ "നെറ്റ്‌വർക്ക്" ടാബിലേക്ക് നാവിഗേറ്റ് ചെയ്യുക. എല്ലാ അഭ്യർത്ഥനകളും ക്യാപ്‌ചർ ചെയ്യാൻ പേജ് പുതുക്കുക. നിങ്ങൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാൻ ആഗ്രഹിക്കുന്ന ഡാറ്റയുമായി ബന്ധപ്പെട്ട അഭ്യർത്ഥനകൾക്കായി നോക്കുക. ഈ അഭ്യർത്ഥനകൾക്ക് സാധാരണയായി JSON ഡാറ്റ നൽകുന്ന അവസാന പോയിൻ്റുകൾ ഉണ്ട്.

3. മറഞ്ഞിരിക്കുന്ന API തിരിച്ചറിയൽ

നിങ്ങൾക്ക് ആവശ്യമുള്ള ഡാറ്റ നൽകുന്ന അഭ്യർത്ഥന തിരിച്ചറിയുക. ഈ സാഹചര്യത്തിൽ, നിങ്ങൾക്ക് വിൽപ്പന ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്യണമെന്ന് കരുതുക. "സ്ഥിതിവിവരക്കണക്കുകൾ" അല്ലെങ്കിൽ "അനലിറ്റിക്സ്" പോലുള്ള പദങ്ങൾ ഉൾപ്പെടുന്ന ഒരു URL ഉള്ള ഒരു അഭ്യർത്ഥനയ്ക്കായി നോക്കുക.

നിങ്ങൾ കണ്ടെത്തിയേക്കാവുന്നതിൻ്റെ ഒരു ഉദാഹരണം ഇതാ:

<mark style="background-color:rgba(0, 0, 0, 0)" class="has-inline-color has-black-color"><code>https://partner.market.ru/api/v1/stats/get-sales-data</code></mark>

4. അഭ്യർത്ഥന വിശകലനം ചെയ്യുന്നു

അതിൻ്റെ വിശദാംശങ്ങൾ പരിശോധിക്കാൻ അഭ്യർത്ഥനയിൽ ക്ലിക്ക് ചെയ്യുക. ഇനിപ്പറയുന്നവ ശ്രദ്ധിക്കുക:

• URL അഭ്യർത്ഥിക്കുക: എൻഡ്‌പോയിൻ്റ് URL.
• അഭ്യർത്ഥന രീതി: സാധാരണ POST അല്ലെങ്കിൽ GET.
• തലക്കെട്ടുകൾ: അംഗീകാര ടോക്കണുകൾ പോലുള്ള ആവശ്യമായ തലക്കെട്ടുകൾ.
• പേലോഡ്: അഭ്യർത്ഥനയ്‌ക്കൊപ്പം ഡാറ്റ അയച്ചു.

നിങ്ങൾ കണ്ടേക്കാവുന്ന ഒരു സാമ്പിൾ പേലോഡ് ഇതാ:

<code>{
  "date_from": "2024-05-01",
  "date_to": "2024-05-31",
  "filters": {
    "category_id": "12345"
  }
}</code>

5. പൈത്തൺ സ്ക്രിപ്റ്റ് എഴുതുന്നു

ഇപ്പോൾ, ഈ അഭ്യർത്ഥന അനുകരിക്കാനും ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാനും നമുക്ക് ഒരു പൈത്തൺ സ്‌ക്രിപ്റ്റ് എഴുതാം.

import requests
import pandas as pd

# Set the endpoint URL and headers
url = 'https://partner.market.ru/api/v1/stats/get-sales-data'
headers = {
    'Authorization': 'Bearer your_token_here',
    'Content-Type': 'application/json'
}

# Define the payload
payload = {
    "date_from": "2024-05-01",
    "date_to": "2024-05-31",
    "filters": {
        "category_id": "12345"
    }
}

# Send the request
response = requests.post(url, headers=headers, json=payload)

# Check if the request was successful
if response.status_code == 200:
    data = response.json()
    df = pd.DataFrame(data['goods'])
    print(df.head())
else:
    print(f"Failed to retrieve data: {response.status_code}")

6. സെഷൻ ഐഡി കൈകാര്യം ചെയ്യുന്നു

അഭ്യർത്ഥനയ്ക്ക് ഒരു സെഷൻ ഐഡി ആവശ്യമാണെങ്കിൽ, ഈ സെഷൻ ഐഡി ലഭിക്കുന്നതിന് നിങ്ങൾ ലോഗിൻ പ്രക്രിയ ഓട്ടോമേറ്റ് ചെയ്യേണ്ടതുണ്ട്. ഇതാ ഒരു ഉദാഹരണം:

login_url = 'https://partner.market.ru/api/v1/auth/login'
login_payload = {
    'username': 'your_username',
    'password': 'your_password'
}

# Perform login to get session ID
login_response = requests.post(login_url, json=login_payload)
session_id = login_response.json().get('session_id')

# Update headers with session ID
headers.update({'Session-ID': session_id})

# Now send the request with updated headers
response = requests.post(url, headers=headers, json=payload)
if response.status_code == 200:
    data = response.json()
    df = pd.DataFrame(data['goods'])
    print(df.head())
else:
    print(f"Failed to retrieve data: {response.status_code}")

പൊതുവായ പ്രശ്നങ്ങളും ട്രബിൾഷൂട്ടിംഗും

• അസാധുവായ സെഷൻ ഐഡി: നിങ്ങൾ ശരിയായി ലോഗിൻ ചെയ്യുന്നുണ്ടെന്നും തലക്കെട്ടുകളിൽ സെഷൻ ഐഡി അപ്‌ഡേറ്റ് ചെയ്യുന്നുണ്ടെന്നും ഉറപ്പാക്കുക.
• നിരക്ക് പരിധി: ചില API-കൾക്ക് നിരക്ക് പരിധികൾ ഉണ്ടായിരിക്കാം. ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ നിങ്ങൾ വളരെയധികം അഭ്യർത്ഥനകൾ അയച്ചിട്ടില്ലെന്ന് ഉറപ്പാക്കുക.
• അംഗീകാര പിശകുകൾ: നിങ്ങളുടെ ടോക്കൺ അല്ലെങ്കിൽ ക്രെഡൻഷ്യലുകൾ ശരിയാണോ എന്ന് പരിശോധിക്കുക.

പട്ടിക ഉദാഹരണം: വിൽപ്പന ഡാറ്റ

പാണ്ടകൾ ഉപയോഗിച്ച് എക്‌സ്‌ട്രാക്‌റ്റുചെയ്‌ത വിൽപ്പന ഡാറ്റ ഒരു പട്ടികയിൽ എങ്ങനെ ക്രമീകരിക്കാം എന്നതിൻ്റെ ഒരു ഉദാഹരണം ഇതാ:

ഉപസംഹാരം

മറഞ്ഞിരിക്കുന്ന API-കൾ ഉപയോഗിച്ച് മെഗാമാർക്കറ്റ് അഡ്‌മിൻ പാനൽ പാഴ്‌സ് ചെയ്യുന്നത് പരമ്പരാഗത വെബ് സ്‌ക്രാപ്പിംഗ് രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ സമയവും പരിശ്രമവും ലാഭിക്കാൻ കഴിയും. ഈ ഗൈഡ് പിന്തുടരുന്നതിലൂടെ, നിങ്ങളുടെ അനലിറ്റിക്കൽ അല്ലെങ്കിൽ ബിസിനസ് ആവശ്യങ്ങൾക്ക് ആവശ്യമായ ഡാറ്റ കാര്യക്ഷമമായി എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാനാകും. ഡാറ്റ ആക്‌സസ് ചെയ്യാനും ഉപയോഗിക്കാനും ആവശ്യമായ അനുമതികൾ നിങ്ങൾക്കുണ്ടെന്ന് എപ്പോഴും ഉറപ്പാക്കുക.