一篇不錯(cuò)的反爬蟲(chóng)技術(shù)方案博文：https://github.com/FantasticL...

舉一個(gè)我這邊正在應(yīng)對(duì)反爬的策略：
1.給需要增加反爬的接口增加一個(gè)參數(shù)，該參數(shù)的值是這個(gè)接口入?yún)⑺袇?shù)對(duì)象轉(zhuǎn)化為json串后，再通過(guò)一個(gè)固定2
的加密規(guī)則生成一串秘文。
2.后臺(tái)服務(wù)器根據(jù)這個(gè)參數(shù)，通過(guò)約定的秘鑰進(jìn)行解密，與傳過(guò)來(lái)的參數(shù)進(jìn)行比較，如果匹配，就認(rèn)為是正常請(qǐng)求，如果不匹配，就認(rèn)為是爬蟲(chóng)。

因?yàn)榧用芙饷懿呗灾挥凶约褐?，所以爬蟲(chóng)不可能模仿，創(chuàng)造這個(gè)參數(shù)。

你好， 爬蟲(chóng)的抓取與反制 是一個(gè)典型的貓鼠游戲， 沒(méi)有一通百通 一招制勝的絕學(xué)， 都是隨著時(shí)代發(fā)展衍生出的一些此消彼長(zhǎng)而已。
有關(guān)這方面的技術(shù)，可以看下我之前寫(xiě)的的一篇博客，介紹的已經(jīng)非常全了， 我也同步在了 segment網(wǎng)站的專欄里，上了segment的月度精華文章。

簡(jiǎn)單地說(shuō)，對(duì)于如今web技術(shù)當(dāng)中涌現(xiàn)出的各種headless瀏覽器 也就是你提到的

selenium+chrome模擬等

需要服務(wù)端和客戶端配合起來(lái)，聯(lián)合對(duì)爬蟲(chóng)抓取進(jìn)行反制與跟蹤，即使如此，攻擊與防御依然是相對(duì)的，你能做的只是提升抓取者的成本，而不可能一勞永逸。

PS：諷刺的是，我發(fā)現(xiàn)我的原創(chuàng)文章同步在了很多個(gè)博客ugc平臺(tái)，唯獨(dú)在segmentfault發(fā)布的版本被很多人匿名轉(zhuǎn)載了，其中恐怕有不少是被野爬的，看來(lái)segmentfault的反爬蟲(chóng)防御門(mén)檻很低。不過(guò)沒(méi)關(guān)系，授人以漁者，自己肯定會(huì)留幾手的， 如果你的網(wǎng)站業(yè)務(wù)中真的面臨大量爬蟲(chóng)抓取的威脅，可以 微博或 推特聯(lián)系我， 不同場(chǎng)景下的爬蟲(chóng)防御反制技術(shù)需要結(jié)合你們具體業(yè)務(wù)特點(diǎn)來(lái)做，我目前手里掌握的一整套手段基本可以通殺市面上開(kāi)源的各種爬蟲(chóng)抓取工具，包括headless chrome（puppeteer）,哦對(duì)了，對(duì)headless chrome的反制，我博客里提到的一些手段已經(jīng)過(guò)時(shí)了，大家轉(zhuǎn)載時(shí)悠著點(diǎn)別把自己坑了 哈哈

推薦兩篇文章：
https://juejin.im/post/5a22af...
https://blog.shapesecurity.co...

理論上來(lái)說(shuō)，只要在頁(yè)面上顯示的內(nèi)容，爬蟲(chóng)就可以爬到。

服務(wù)端沒(méi)辦法完全百分百確定你是正常行為還是爬蟲(chóng)，所以一般會(huì)在你有嫌疑的時(shí)候突然彈個(gè)驗(yàn)證碼叫你輸入，以此來(lái)確認(rèn)你是不是爬蟲(chóng)。

我曾經(jīng)聽(tīng)過(guò)一個(gè)例子，某電商網(wǎng)站，在你瀏覽商品搜索頁(yè)面時(shí)，翻閱超過(guò)一定數(shù)量（比如20或者30）后，開(kāi)始隨機(jī)插入假數(shù)據(jù)，因?yàn)樗麄兊暮笈_(tái)統(tǒng)計(jì)里正常情況里不會(huì)瀏覽一個(gè)結(jié)果頁(yè)面這么深，如果假數(shù)據(jù)被點(diǎn)擊了，就開(kāi)始把這個(gè)帳號(hào)列入嫌疑列表，當(dāng)假數(shù)據(jù)的點(diǎn)擊次數(shù)達(dá)到一個(gè)閥值，就判定你是爬蟲(chóng)。要么說(shuō)你帳號(hào)有危險(xiǎn)彈個(gè)驗(yàn)證碼、要么直接封號(hào)。

目前國(guó)外很多網(wǎng)站采用的distil networks反爬蟲(chóng)服務(wù) 目前我就遇到了這樣的難題