python爬虫 请求参数加密

<think>好的，我现在需要解决用户的问题：如何在Python爬虫中对请求参数进行加密。用户提到了之前的回答和相关引用，我需要结合这些信息来给出详细的步骤和方法。 首先，回顾用户之前的对话，用户已经了解了如何添加GET和POST请求的参数，现在关注的是参数加密。根据提供的引用内容，加密通常涉及到逆向分析JavaScript代码，然后用Python模拟加密逻辑。引用1提到使用hashlib来模拟MD5加密，引用2和3讨论了逆向JS和用Python重写加密函数，引用4提到了时间戳、参数排序和Base64加密的例子。 用户的需求可能包括常见的加密方法，如哈希、Base64、AES等，以及如何处理动态参数如时间戳和随机数。此外，用户可能还想了解如何逆向JS找到加密逻辑，这是实际爬虫中常遇到的难点。 接下来，我需要组织回答的结构。首先概述加密的必要性，然后分步骤介绍常见加密方法，包括哈希、Base64、对称加密（如AES）、非对称加密（如RSA）。然后详细说明如何逆向分析JavaScript，包括使用浏览器开发者工具定位加密函数，调试并理解逻辑，最后用Python实现。可能需要结合引用中的例子，如MD5模拟、Base64处理，以及动态参数生成。 还要注意用户可能遇到的困难，比如复杂的JS混淆，这时可能需要工具如PyExecJS来执行JS代码，或者使用自动化工具如Selenium。同时，提醒用户注意法律和道德规范，避免侵犯隐私或触犯法律。 最后，生成相关问题，帮助用户进一步学习，比如处理JS混淆、解决动态密钥、提升逆向效率等。 需要确保回答清晰，步骤明确，代码示例正确，并正确引用之前的资料，比如引用1的MD5示例，引用4的Base64和时间戳处理。同时，保持语言口语化，避免使用专业术语过多，但必要时解释清楚。</think>在Python爬虫中处理请求参数加密，需要通过逆向分析目标网站的加密逻辑，并采用Python代码模拟实现。以下是具体实现方法和步骤： --- ### 一、常见加密类型及Python实现 #### 1. 哈希算法（如MD5/SHA） 用于参数签名验证，通过不可逆加密生成唯一标识 ```python import hashlib def md5_encrypt(text): md5 = hashlib.md5() md5.update(text.encode('utf-8')) return md5.hexdigest() # 示例：加密时间戳 timestamp = str(int(time.time()*1000)) sign = md5_encrypt(f"key={timestamp}&salt=abc123") ``` [^1] #### 2. Base64编码 常用于简单数据混淆处理 ```python import base64 # 参数编码 param = "page=2&size=20".encode('utf-8') encoded = base64.b64encode(param).decode() # 解码验证 decoded = base64.b64decode(encoded).decode() ``` [^4] #### 3. 对称加密（AES/DES） 需要获取密钥进行加解密 ```python from Crypto.Cipher import AES import binascii def aes_encrypt(data, key, iv): cipher = AES.new(key.encode(), AES.MODE_CBC, iv.encode()) padded = data + (16 - len(data) % 16) * chr(16 - len(data) % 16) encrypted = cipher.encrypt(padded.encode()) return binascii.b2a_hex(encrypted).decode() # 示例使用 encrypted = aes_encrypt('page=1', '1234567890123456', '1234567890123456') ``` #### 4. 非对称加密（RSA） 处理需要公钥加密的场景 ```python from Crypto.PublicKey import RSA from Crypto.Cipher import PKCS1_v1_5 def rsa_encrypt(data, public_key): rsa_key = RSA.importKey(public_key) cipher = PKCS1_v1_5.new(rsa_key) return base64.b64encode(cipher.encrypt(data.encode())).decode() ``` --- ### 二、逆向分析JS加密流程 #### 步骤1：定位加密入口 1. 使用Chrome开发者工具（F12） 2. 在Network面板捕获加密请求 3. 通过XHR断点或搜索加密参数定位JS文件 #### 步骤2：调试加密逻辑 ```javascript // 典型加密函数结构 function encryptParams(params) { let timestamp = Date.now(); let sorted = Object.keys(params).sort().map(k => `${k}=${params[k]}`).join('&'); return md5(sorted + salt_key); } ``` #### 步骤3：Python复现逻辑 ```python import time def generate_params(page): params = { "page": page, "ts": int(time.time()*1000), "nonce": random.randint(1000,9999) } sorted_str = '&'.join([f"{k}={v}" for k,v in sorted(params.items())]) params['sign'] = hashlib.sha256(f"{sorted_str}appSecret").hexdigest() return params ``` [^4] --- ### 三、实战案例解析 以某电商网站搜索接口为例： 1. 原始请求参数： ```python {"keyword": "手机", "page": 1} ``` 2. 加密后参数： ```python { "payload": "eyJraWQiOiIxMjM0NSIsImVuY3J5cHRlZERhdGEiOiJNek...", "x-sign": "a1b2c3d4e5f6" } ``` 3. Python复现流程： ```python def encrypt_payload(params): # 步骤1：添加时间戳 params['timestamp'] = int(time.time()*1000) # 步骤2：参数排序并序列化 sorted_params = json.dumps(params, sort_keys=True) # 步骤3：AES加密 encrypted = aes_encrypt(sorted_params, AES_KEY, AES_IV) # 步骤4：生成签名 sign = md5_encrypt(encrypted + SIGN_SALT) return {"payload": encrypted, "x-sign": sign} ``` --- ### 四、特殊场景处理 1. **动态密钥**：通过首次请求获取加密密钥 2. **环境检测**：使用`execjs`库直接执行JS代码 ```python import execjs with open('encrypt.js') as f: js_code = f.read() ctx = execjs.compile(js_code) encrypted = ctx.call('encrypt', 'raw_data') ``` 3. **反调试绕过**：使用无头浏览器获取加密结果 ```python from selenium.webdriver import ChromeOptions options = ChromeOptions() options.add_argument('--headless') driver = webdriver.Chrome(options=options) driver.get(url) encrypted = driver.execute_script('return window.encrypt(param);') ``` --- ### 五、注意事项 1. 优先使用网站的公开API接口 2. 遵守robots.txt协议 3. 控制请求频率避免被封禁 4. 加密逻辑变更时需要及时更新代码