Penghurai proksi awam mudah dalam Python menggunakan carian Google. Kami akan menggunakan googlesearch-python
perpustakaan untuk melakukan carian Google dan BeautifulSoup
untuk penghuraian HTML.
Pertama, pastikan anda memasang perpustakaan yang diperlukan:
pip install beautifulsoup4 google
Sekarang, mari buat penghurai proksi:
from googlesearch import search
from bs4 import BeautifulSoup
import requests
def fetch_proxies():
proxies = []
# Perform a Google search for public proxy lists
query = "public proxy list"
for url in search(query, num=5, stop=5, pause=2):
# Fetch the HTML content of the search result
try:
response = requests.get(url, timeout=10)
if response.status_code == 200:
html_content = response.text
# Parse the HTML using BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
# Find proxy IP addresses and ports
for row in soup.find_all('tr'):
cols = row.find_all('td')
if len(cols) >= 2:
proxy = cols[0].text.strip() + ':' + cols[1].text.strip()
proxies.append(proxy)
except Exception as e:
print(f"Error fetching proxies from {url}: {e}")
return proxies
if __name__ == "__main__":
proxies = fetch_proxies()
for proxy in proxies:
print(proxy)
Skrip ini akan melakukan carian Google untuk senarai proksi awam, menghuraikan HTML hasil carian dan mengekstrak alamat IP dan port proksi. Sila ambil perhatian bahawa kualiti dan kebolehpercayaan proksi yang diperoleh menggunakan kaedah ini mungkin berbeza-beza. Selain itu, sentiasa pastikan anda menggunakan proksi secara bertanggungjawab dan mematuhi syarat perkhidmatan tapak web yang anda akses melaluinya.
Komen (0)
Tiada ulasan di sini lagi, anda boleh menjadi yang pertama!