Бесплатные прокси в Python: как выбрать, проверить и использовать

Когда встаёт задача обойти геоблокировку или собрать данные с сайта, первое, что приходит в голову — использовать бесплатные прокси. В Python это делается довольно просто, но есть подводные камни: большинство бесплатных адресов не работают, скорость низкая, а некоторые прокси могут быть опасны. В этой статье я покажу, как правильно подойти к выбору, проверке и использованию бесплатных прокси в Python, чтобы ваш скрипт работал стабильно и безопасно.

Где искать бесплатные прокси для Python

Самый очевидный источник — сайты-агрегаторы, такие как free-proxy-list.net, sslproxies.org или hidemy.name. Они предоставляют списки IP:PORT, которые можно скачать вручную или спарсить. Для автоматизации удобно использовать BeautifulSoup или готовые API. Однако помните: публичные списки обновляются часто, но большинство адресов умирают в течение нескольких минут. Поэтому не стоит полагаться на один список — лучше собрать несколько источников и периодически обновлять.

Ещё вариант — библиотеки-обёртки, например proxy-list или scrapy-proxy-middleware, которые сами подтягивают свежие прокси. Но они тоже не гарантируют качество. В любом случае, перед использованием каждый прокси нужно проверить.

Как проверить прокси перед использованием

Не тратьте время на мёртвые адреса. Напишите простую функцию проверки, которая отправляет запрос на сервис типа httpbin.org/ip и проверяет, что ответ пришёл и IP отличается от вашего. Установите таймаут 3–5 секунд, чтобы скрипт не завис. Вот пример:

import requests

def check_proxy(ip, port):
    proxies = {
        'http': f'http://{ip}:{port}',
        'https': f'http://{ip}:{port}'
    }
    try:
        response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=5)
        if response.status_code == 200:
            data = response.json()
            return data.get('origin') != requests.get('https://httpbin.org/ip').json().get('origin')
    except:
        pass
    return False

Эта функция возвращает True, если прокси работает и скрывает ваш IP. Для массовой проверки можно использовать асинхронность или потоки, чтобы ускорить процесс.

Настройка requests для работы с прокси

Библиотека requests — стандарт для HTTP-запросов. Чтобы использовать прокси, передайте словарь в параметр proxies. Важно указывать схему http:// даже для HTTPS-сайтов, так как большинство бесплатных прокси поддерживают CONNECT и работают как HTTP-прокси. Пример:

import requests

proxies = {
    'http': 'http://123.45.67.89:8080',
    'https': 'http://123.45.67.89:8080'
}

try:
    response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=10)
    print(response.json())
except requests.exceptions.RequestException as e:
    print(f'Ошибка: {e}')

Если прокси требует аутентификацию, добавьте логин и пароль в URL: http://user:pass@ip:port.

Ротация прокси: как не получить бан

Одиночный бесплатный прокси быстро перегружается или блокируется. Решение — ротация: используйте несколько IP и меняйте их между запросами. Простой способ — читать список из файла и выбирать случайный адрес:

import requests
import random

with open('proxies.txt', 'r') as f:
    proxy_list = [line.strip() for line in f if line.strip()]

for _ in range(10):
    proxy = random.choice(proxy_list)
    proxies = {'http': f'http://{proxy}', 'https': f'http://{proxy}'}
    try:
        resp = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=5)
        print(f'Успех: {resp.json().get("origin")}')
    except:
        print(f'Прокси {proxy} не работает')

Для более серьёзных задач используйте менеджеры пулов, например rotating_proxies или requests-threads. Они автоматически исключают мёртвые адреса и распределяют нагрузку.

Типичные ошибки при работе с бесплатными прокси

• Прокси не поддерживает HTTPS. Если сайт требует HTTPS, а прокси не умеет CONNECT, запрос упадёт. Используйте только HTTP-схему в словаре и проверяйте поддержку HTTPS.
• Блокировка по User-Agent. Некоторые прокси фильтруют заголовки. Добавьте реалистичный User-Agent, например из браузера.
• Медленная скорость. Бесплатные прокси часто перегружены. Используйте асинхронные библиотеки (aiohttp) или мультипоточность для параллельных запросов.
• Подмена ответов. Вредоносные прокси могут изменять контент. Всегда используйте HTTPS и проверяйте сертификаты (verify=True).

Безопасность: чем рискуете с бесплатными прокси

Бесплатные прокси — потенциально опасны. Владелец сервера может логировать ваш трафик или внедрять вредоносный код. Никогда не передавайте через бесплатный прокси логины, пароли или данные банковских карт. Используйте их только для сбора публичных данных (парсинг) или обхода блокировок на нечувствительных сайтах. Для анонимности лучше сочетать с VPN или TOR. Также регулярно обновляйте список прокси — старые могут быть скомпрометированы.

Альтернативные библиотеки для работы с прокси

Помимо ручной настройки, существуют специализированные библиотеки:

• scrapy-proxy-middleware — интеграция прокси в Scrapy с ротацией и проверкой.
• pycurl — гибкая работа с прокси, но сложнее в использовании.
• proxy-py — простая обёртка над requests для автоматического перебора.
• selenium-wire — если нужно управлять прокси в браузере.

Выбор зависит от задачи. Для простых скриптов достаточно requests и списка из файла. Для крупных проектов — Scrapy или aiohttp с динамической загрузкой.

Частые вопросы

Можно ли использовать бесплатные прокси для парсинга?

Да, но с оговорками. Бесплатные прокси нестабильны, поэтому для серьёзного парсинга лучше использовать платные или ротацию большого количества адресов. Начните с бесплатных, если объём данных небольшой.

Как часто обновлять список прокси?

Рекомендуется проверять и обновлять список каждые 10–15 минут, так как бесплатные прокси живут недолго. Автоматизируйте процесс сбора и проверки.

Что делать, если прокси работает, но сайт блокирует запросы?

Попробуйте изменить User-Agent, добавить задержки между запросами или использовать другой прокси. Возможно, сайт блокирует по IP или поведенческим признакам.