Bagaimana Cara Mengurai Panel Admin Megamarket Menggunakan API Tersembunyi?

Mengurai situs web dinamis bisa menjadi tugas yang menantang, terutama ketika konten dibuat langsung menggunakan JavaScript. Artikel ini akan memandu Anda melalui proses parsing panel admin Megamarket menggunakan API tersembunyi. Di akhir artikel ini, Anda akan mempelajari cara menemukan dan menggunakan API tersembunyi untuk mengekstrak data yang Anda perlukan secara efisien.

Apa itu Megamarket?

Megamarket, sebelumnya dikenal sebagai Sbermegamarket, adalah salah satu pasar online terbesar di Rusia. Ini menawarkan berbagai macam produk dan layanan. Namun, ia tidak menyediakan API publik untuk mengakses datanya, sehingga perlu mencari metode alternatif untuk ekstraksi data.

Mengapa Menggunakan API Tersembunyi untuk Parsing?

Menggunakan API tersembunyi untuk penguraian seringkali lebih andal dan efisien dibandingkan dengan metode web scraping tradisional. API Tersembunyi memungkinkan Anda mengakses data secara langsung dari server, tanpa perlu menguraikan konten HTML yang dihasilkan oleh JavaScript.

Alat dan Pengaturan

Untuk mengikuti tutorial ini, Anda memerlukan alat berikut:

• ular piton: Bahasa pemrograman serbaguna.
• Perpustakaan Permintaan: Untuk membuat permintaan HTTP.
• Perpustakaan Panda: Untuk menangani dan memanipulasi data.
• Alat Pengembang Peramban: Untuk memeriksa permintaan jaringan.

Panduan Langkah demi Langkah

1. Menyiapkan Lingkungan Anda

Sebelum memulai, pastikan Anda telah menginstal Python di mesin Anda. Anda dapat menginstal perpustakaan yang diperlukan menggunakan pip:

<code>pip install requests pandas</code>

2. Memeriksa Permintaan Jaringan

Buka browser Anda dan navigasikan ke panel admin Megamarket. Masuk menggunakan kredensial Anda. Buka Alat Pengembang (biasanya dengan menekan F12 atau mengklik kanan halaman dan memilih “Inspeksi”).

Arahkan ke tab “Jaringan” untuk memantau permintaan jaringan yang dibuat. Segarkan halaman untuk menangkap semua permintaan. Cari permintaan terkait data yang ingin Anda ekstrak. Permintaan ini biasanya memiliki titik akhir yang mengembalikan data JSON.

3. Mengidentifikasi API Tersembunyi

Identifikasi permintaan yang mengembalikan data yang Anda perlukan. Dalam hal ini, anggaplah Anda ingin mengekstrak data penjualan. Cari permintaan dengan URL yang menyertakan istilah seperti “statistik” atau “analitik”.

Berikut ini contoh yang mungkin Anda temukan:

<mark style="background-color:rgba(0, 0, 0, 0)" class="has-inline-color has-black-color"><code>https://partner.market.ru/api/v1/stats/get-sales-data</code></mark>

4. Menganalisis Permintaan

Klik pada permintaan untuk memeriksa detailnya. Perhatikan hal berikut:

• URL Permintaan: URL titik akhir.
• Metode Permintaan: Biasanya POST atau GET.
• Header: Header yang diperlukan seperti token otorisasi.
• Muatan: Data dikirim bersama permintaan.

Berikut ini contoh muatan yang mungkin Anda lihat:

<code>{
  "date_from": "2024-05-01",
  "date_to": "2024-05-31",
  "filters": {
    "category_id": "12345"
  }
}</code>

5. Menulis Skrip Python

Sekarang, mari kita menulis skrip Python untuk meniru permintaan ini dan mengekstrak datanya.

import requests
import pandas as pd

# Set the endpoint URL and headers
url = 'https://partner.market.ru/api/v1/stats/get-sales-data'
headers = {
    'Authorization': 'Bearer your_token_here',
    'Content-Type': 'application/json'
}

# Define the payload
payload = {
    "date_from": "2024-05-01",
    "date_to": "2024-05-31",
    "filters": {
        "category_id": "12345"
    }
}

# Send the request
response = requests.post(url, headers=headers, json=payload)

# Check if the request was successful
if response.status_code == 200:
    data = response.json()
    df = pd.DataFrame(data['goods'])
    print(df.head())
else:
    print(f"Failed to retrieve data: {response.status_code}")

6. Menangani ID Sesi

Jika permintaan memerlukan ID sesi, Anda perlu mengotomatiskan proses login untuk mendapatkan ID sesi ini. Berikut ini contohnya:

login_url = 'https://partner.market.ru/api/v1/auth/login'
login_payload = {
    'username': 'your_username',
    'password': 'your_password'
}

# Perform login to get session ID
login_response = requests.post(login_url, json=login_payload)
session_id = login_response.json().get('session_id')

# Update headers with session ID
headers.update({'Session-ID': session_id})

# Now send the request with updated headers
response = requests.post(url, headers=headers, json=payload)
if response.status_code == 200:
    data = response.json()
    df = pd.DataFrame(data['goods'])
    print(df.head())
else:
    print(f"Failed to retrieve data: {response.status_code}")

Masalah Umum dan Pemecahan Masalah

• ID Sesi tidak valid: Pastikan Anda masuk dengan benar dan ID sesi diperbarui di header.
• Batasan Tarif: Beberapa API mungkin memiliki batasan kapasitas. Pastikan Anda tidak mengirimkan terlalu banyak permintaan dalam waktu singkat.
• Kesalahan Otorisasi: Periksa apakah token atau kredensial Anda benar.

Contoh Tabel : Data Penjualan

Berikut adalah contoh bagaimana Anda dapat menyusun data penjualan yang diekstraksi dalam tabel menggunakan pandas:

Kesimpulan

Mengurai panel admin Megamarket menggunakan API tersembunyi dapat menghemat waktu dan tenaga dibandingkan dengan metode web scraping tradisional. Dengan mengikuti panduan ini, Anda dapat secara efisien mengekstrak data yang Anda perlukan untuk tujuan analitis atau bisnis Anda. Selalu pastikan Anda memiliki izin yang diperlukan untuk mengakses dan menggunakan data.