首页什么是代理IP? 如何在 Python 请求中使用代理IP？

如何在 Python 请求中使用代理IP？

Pandada 文章于 4个月前发布

寻求帮助提交评论

4.70

在本文中，我们将研究如何在代理服务器后面使用 Python Requests 库。开发人员使用代理来实现匿名性、安全性，有时甚至会使用多个代理来防止网站禁止其 IP 地址。代理还具有其他一些好处，例如绕过过滤器和审查制度。

先决条件和安装

本文面向那些想要在 Python 中挖掘代理的人。为了充分利用材料，有利于：

✅ 有 Python 3 经验🐍。

✅ Python 3 安装在您的本地计算机上。

步骤 1: 安装 Requests 库

首先，确保你的 Python 环境中安装了 Requests 库。如果还没有安装，可以通过 pip 安装：

pip install requests

拓展阅读: Python通过HTTP代理爬取网页文章

步骤 2: 设置代理IP

在 Requests 中使用代理非常简单。你只需要创建一个字典，其中包含你想要通过的代理服务器的协议和地址。例如：

proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

这里，`http` 键对应的值是用于 HTTP 请求的代理服务器地址，`https` 键对应的是 HTTPS 请求的代理服务器地址。注意，代理服务器的 IP 地址和端口号需要根据你的实际情况替换。

步骤 3: 发送请求

一旦设置好代理，你就可以在发送请求时将其作为参数传递给 Requests 的函数了。这里是一个使用代理发送 GET 请求的示例：

import requests

url = 'http://example.com'
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

response = requests.get(url, proxies=proxies)
print(response.text)

步骤 4: 处理异常

使用代理时，可能会遇到网络连接问题或代理服务器问题。为了使你的应用更健壮，应当捕获并处理可能出现的异常：

import requests
from requests.exceptions import RequestException

url = 'http://example.com'
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

try {
    response = requests.get(url, proxies=proxies)
    print(response.text)
} catch (RequestException e) {
    print(f"请求失败: {e}")
}

步骤 5: 使用认证的代理IP

如果你的代理服务器需要认证，你可以在代理地址中包含用户名和密码。例如：

proxies = {
    "http": "http://user:[email protected]:3128",
    "https": "https://user:[email protected]:1080",
}

确保替换 `user` 和 `password` 为你的代理认证信息。

通过以上步骤，你可以在 Python 中使用 Requests 库通过代理发送请求。这对于数据抓取、测试和许多其他场景都非常有用。

在本教程的基础上，我们将进一步探讨如何使用 Python 的 Requests 库管理多个代理，并实现一个简单的代理池。这对于需要频繁更换 IP 地址以避免被目标网站封锁的情况尤其有用。

创建代理池

代理池的基本思想是维护一个代理列表，从中随机选择代理以分散请求的源地址。这里是如何实现一个基本的代理池：

存储代理列表：可以将代理存储在列表中，或者使用更高级的存储系统如数据库或缓存系统。

选择代理：从列表中随机选择一个代理用于发起请求。

验证代理有效性：定期检测代理的有效性，移除无效或响应慢的代理。

import requests
import random

# 代理列表
proxies_list = [
    {"http": "http://10.10.1.10:3128", "https": "https://10.10.1.10:1080"},
    {"http": "http://10.10.2.10:3128", "https": "https://10.10.2.10:1080"},
    {"http": "http://10.10.3.10:3128", "https": "https://10.10.3.10:1080"}
]

def get_random_proxy():
    return random.choice(proxies_list)

# 使用随机代理发送请求
url = 'http://example.com'
proxy = get_random_proxy()
response = requests.get(url, proxies=proxy)
print(response.text)