document.writeln('');
爬蟲需綜合運用IP代理輪換、驗證碼識別、請求頭與行為模擬及JS逆向四類技術繞過反爬。IP代理池應選HTTPS支持的付費或自建服務;驗證碼優先調用打碼平臺API;User-Agent等請求頭須輪換并控制請求頻率;JS動態參數需通過瀏覽器分析后用PyExecJS或Playwright執行。

IP被封、驗證碼彈窗、請求被拒——這些是寫爬蟲時最常遇到的反爬“攔路虎”。光靠requests發請求已經不夠,得學會用IP代理輪換和驗證碼識別來繞過限制。核心思路就兩條:讓服務器覺得你不是機器人,且每次訪問像不同用戶。
單個IP高頻訪問必然觸發風控,代理池能分散請求來源。免費代理不穩定,建議用付費服務(如快代理、芝麻代理)或自建代理池(通過云服務器+ Squid 代理軟件)。
使用時注意三點:
示例代碼片段:
立即學習“Python免費學習筆記(深入)”;
proxies = {"http": "http://user:pass@host:port", "https": "http://user:pass@host:port"}常見驗證碼分三類:數字字母組合(易識別)、滑塊驗證(需模擬拖動)、點選文字(需OCR+坐標定位)。入門推薦先攻第一種。
主流方案有三種:

inference.sh 的 Python SDK:運行 AI 應用、構建智能體,并集成 150 多個模型。包名:inferencesh (pip install inferencesh)。支持同步/異步……
關鍵細節:驗證碼圖片通常帶干擾線/扭曲,預處理比識別本身更重要;識別后務必校驗長度和字符范圍(如只含數字和大寫字母)。
代理和驗證碼只是表層,真實用戶行為才是重點。光換IP不換User-Agent,照樣被秒封。
至少做到以下四點:
注意:Selenium雖強,但慢且易被檢測(window.navigator.webdriver為True),可用undetected-chromedriver或手動patch規避。
很多網站的URL參數、cookie或headers由前端JS動態生成(比如sign、token、timestamp),直接抓包看不到邏輯。
解決路徑分兩步:
小技巧:在Chrome控制臺里右鍵“Copy as cURL”,再轉成Python requests代碼,能快速還原真實請求結構。