Как изменить User Agent для обхода Cloudflare

Почему User Agent важен для обхода Cloudflare

Что такое User Agent?

User Agent (UA) — это строка, отправляемая вашим браузером или клиентом для идентификации себя на сервере. Обычно она включает в себя такие данные, как название браузера, версия, операционная система и тип устройства. Например:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36.

Cloudflare анализирует эту строку для обнаружения ботов. Если ваш UA совпадает с известными инструментами автоматизации (например, Python-Requests или HeadlessChrome), вы запустите антибот-системы Cloudflare.

Пошаговая инструкция: изменение User Agent

1. Определите ожидаемый User Agent целевого сайта

Перед настройкой проверьте, какие User Agent используют реальные пользователи сайта. Такие инструменты, как WhatIsMyBrowser или инструменты разработчика браузера (вкладка «Сеть» > «Заголовки»), могут помочь. Например, если сайт популярен среди пользователей Chrome, имитируйте их UA.

2. Установите пользовательский User Agent в вашем коде

Вот как изменить UA в популярных языках программирования:

Python (библиотека Requests)

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

response = requests.get('https://example.com', headers=headers)

JavaScript (Node.js с Axios)

const axios = require('axios');

axios.get('https://example.com', {
  headers: {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
  }
});

Использование headless-браузеров (Puppeteer)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
  await page.goto('https://example.com');
})();

3. Вращение User Agent

Повторное использование одного и того же UA может по-прежнему вызывать подозрение. Вращайте UA из предопределенного списка, чтобы имитировать различных пользователей. Такие инструменты, как Fake UserAgent, упрощают это:

from fake_useragent import UserAgent
import requests

ua = UserAgent()
headers = {'User-Agent': ua.random}
response = requests.get('https://example.com', headers=headers)

Распространенные ошибки, которых следует избегать

1. Использование устаревших User Agent
   Cloudflare поддерживает списки подозрительных UA. Избегайте строк, связанных со старыми версиями браузеров (например, Chrome/58.0.3029.110 от 2017 года).

2. Игнорирование отпечатков headless-браузеров
   Даже с действительным UA headless-браузеры оставляют следы автоматизации (например, отсутствующие плагины, такие как navigator.plugins). Используйте скрытые плагины, такие как puppeteer-extra-plugin-stealth.

3. Забывание о вращении IP-адресов
   Сочетайте вращение UA с резидентными прокси для предотвращения блокировки по IP. Статические или sticky прокси лучше всего подходят для поддержания согласованности сеанса.

4. Комбинирование с отпечатками TLS
   Cloudflare проверяет шаблоны TLS-handshake. Библиотеки, такие как curl_cffi (Python) или tls-client (JavaScript), имитируют реальные отпечатки TLS-браузеров, снижая риск обнаружения.

Заключительные мысли

Изменение User Agent — простой, но эффективный способ обойти Cloudflare, но он не является беспроигрышным. Сочетайте его с вращением IP, отпечатками TLS и инструментами антиобнаружения для надежных результатов.

Удачного парсинга! 🤖