Selênio Python (3). Como ignorar a detecção de selênio usando Python: agentes de usuário e execução em segundo plano

Web scraping e automação do navegador tornaram-se integral para muitas empresas e desenvolvedores. No entanto, muitos sites agora detectam e bloqueiam a navegação automatizada. Este artigo explorará como ignorar Selênio detecção usando Python manipulando agentes de usuário e executando Selenium em segundo plano. Iremos nos aprofundar em etapas detalhadas, ferramentas e práticas recomendadas para garantir web scraping bem-sucedido.

Compreendendo a detecção de selênio

Antes de ignorarmos a detecção, vamos entender como ela funciona. Os sites podem detectar o Selenium verificando a presença de determinados sinalizadores e propriedades de driver da web. Quando um site identifica essas sinalizações, ele pode bloquear o acesso ou apresentar dados enganosos. Por exemplo, quando você abre um site usando um navegador Chrome padrão, ele responde conforme o esperado. Porém, ao abrir o mesmo site usando Selenium, o site pode detectar a automação e bloqueá-la. Essa detecção acontece porque o Selenium define sinalizadores específicos que os sites podem procurar.

Alterando sinalizadores do WebDriver

Para ignorar a detecção do Selenium, um método eficaz é modificar os sinalizadores do WebDriver.

1. Configuração do Firefox: Abra a página de configuração do Firefox digitando about:config na barra de endereço. Localize o sinalizador relacionado ao WebDriver e defina-o como false.
2. Implementação de código:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

Este script desativa o sinalizador de detecção do WebDriver, fazendo com que o navegador pareça uma instância normal controlada pelo usuário.

Agentes do usuário

Um agente de usuário é uma string que um navegador envia a um servidor web para se identificar. Alterar a string do agente do usuário pode tornar as solicitações do Selenium indistinguíveis das solicitações normais do navegador.

Etapas para alterar o agente do usuário:

1. Identifique uma string de agente de usuário comum: Exemplo: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Implemente a mudança no selênio:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

Ao definir um agente de usuário personalizado, podemos ignorar muitas detecções básicas.

Executando Selenium em segundo plano

Executar o navegador em segundo plano é outro aspecto crucial para evitar a detecção. Isso pode ser conseguido executando o navegador no modo headless.

Implementação:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

A execução no modo headless significa que nenhuma interface gráfica é exibida, o que é essencial para a execução de tarefas automatizadas em servidores.

Desativando notificações e sons do navegador

A navegação automatizada geralmente envolve o tratamento de pop-ups e notificações inesperadas. Desativá-los pode agilizar o processo.

Exemplo de código:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

Este script desativa notificações e silencia o áudio, garantindo automação ininterrupta.

Exemplo de análise de dados

Vamos considerar um exemplo prático de análise de apelidos de um site que gera nomes de usuário aleatórios.

Etapas:

1. Carregue o site e interaja com os elementos:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Conclusão

Ao manipular sinalizadores do WebDriver, alterar os agentes do usuário, executar o Selenium em segundo plano e desativar as notificações do navegador, você pode efetivamente ignorar a detecção do Selenium. Essas técnicas são essenciais para web scraping e automação contínua e não detectada. A implementação desses métodos garante que suas tarefas automatizadas permaneçam ininterruptas e eficientes. Lembre-se de sempre usar web scraping e automação de forma ética, respeitando os termos de serviço do site e as leis de privacidade de dados. Para técnicas mais avançadas e atualizações regulares, fique ligado em nosso blog em FineProxy.org. Sinta-se à vontade para compartilhar suas idéias e comentários nos comentários abaixo. Se você gostou deste artigo, não esqueça de se inscrever em nosso canal e deixar seu like. Boa raspagem!

Ao implementar essas etapas e ajustar as configurações conforme necessário, você pode garantir que seus projetos de automação sejam executados sem problemas e sem serem detectados.