如何在 Python 中使用请求设置用户代理

Python 4月前 54

在进行网络爬虫、数据采集或 API 请求时，设置用户代理是一种常见的技术手段，可以模拟不同的浏览器或设备，以提高请求的成功率和数据的准确性。本文将介绍如何在 Python 中使用请求库设置用户代理，并提供一些示例和注意事项。

什么是用户代理

用户代理（User-Agent）是一个标识符，用于标识发起请求的客户端应用程序或设备。它通常包含有关操作系统、浏览器和设备的信息，服务器可以根据用户代理来返回适合的内容。通过设置用户代理，我们可以模拟不同的客户端环境，以便获取特定的数据或绕过一些限制。

使用 Python 请求库设置用户代理

Python 中有多个请求库可供选择，如 requests、urllib 等。下面以 requests 为例，介绍如何设置用户代理。

首先，确保已安装 requests 库，可以使用以下命令安装：

pip install requests

接下来，导入 requests 库：

import requests

设置用户代理的方法是在请求头（headers）中添加一个键值对，键为 “User-Agent”，值为用户代理字符串。可以通过以下代码设置用户代理：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

response = requests.get(url, headers=headers)

在上述代码中，将用户代理字符串作为 headers 的一个键值对传递给 requests.get() 方法。

示例：使用不同的用户代理进行请求

下面是一个示例，演示如何使用不同的用户代理进行请求，以获取不同的响应结果。

import requests

user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36"
]

for user_agent in user_agents:
    headers = {
        "User-Agent": user_agent
    }
    response = requests.get(url, headers=headers)
    print(f"User Agent: {user_agent}")
    print(f"Response: {response.text}")
    print("------")

在上述示例中，我们定义了一个包含多个用户代理字符串的列表 user_agents。然后，使用循环遍历每个用户代理字符串，并设置为请求的用户代理。最后，输出每个用户代理对应的响应结果。