「你們機房沒用專門的伺服器啊？」
「是啊，全用的台式做集群————所以你知道我們條件多艱苦了吧？」閆師兄搖了搖頭：「去年有人畢業證都不要就直接跑路了，實在受不了這玩意。」
餘江：「————是夠艱苦的。」
這會電腦已經打開，餘江迅速輸入密碼，打開arXiv。
現在arXiv上占位性質的論文很多，但也能看到高質量、高數量且最新的論文。
這邊，閆宏飛見他快速地用滑鼠劃拉著篇幅，幾乎幾分鐘就把一篇全英文的論文看完，隨後又打開另外一篇後，眼中驚訝頓升。
他這是讀論文，還是在看網文？
懷著疑惑，閆宏飛起身，慢慢走到餘江身後。
隻見餘江正在閱讀一篇關於玻爾茲曼機的論文。
看得出來，餘江看得很認真，但他翻頁的速度依舊極快！
甚至閆宏飛都隻來得及看清楚一個公式，餘江就又翻頁了！
閆宏飛隻感覺頭皮一陣發麻：「你看完了？」
「嗯。」餘江回頭，見閆宏飛滿臉驚恐，馬上意識到對方可能被自己看論文的速度嚇到了，連忙解釋道：「就隨便翻了一下。」
閆宏飛卻隻是搖了搖頭。
他當然願意相信餘江隻是隨便翻了一下。
但隨便翻的狀態，和認真的、快速看的狀態，又怎會一樣？
他又聯想到這傢夥恐怖的分數————
沉默了幾秒，他又想到昨天喻林的話。
「師弟，你對爬蟲了解多少？」
餘江回頭：「了解了一點點，怎麼？」
「就是即便加了節點，並行抓取也是重複，而且很慢。」閆宏飛望著餘江：「有思路沒？」
餘江微微皺眉。
這位師兄好像是博一————
「嗯————師兄肯定去重沒問題————」餘江一邊說著一邊觀察閆宏飛的表情，「要不我看看日誌？」
閆宏飛點頭，隨即打開日誌。
餘江從旁邊拉過凳子，迅速查看日誌。
爬蟲這玩意誰沒玩過啊—一他當初寫的驗證lai123連結網站的小工具，如果加一道分析，就可以算爬蟲了。
「師兄用的文件列表？」
「也試過HashSet去重，但很快就爆內存。」
「URL隊列問題確實難搞。」餘江點頭，安靜地思索了片刻。
閆宏飛也耐心地等待，隻是眼神略有閃爍。
「HashSet在URL總量過高的時候確實會占用大量內存，文件列表吃I/0。
看本書最新章節，請到ｏｏｐ．ｔｗ
」1
閆宏飛就嘆了口氣，他的辦法是平均負載，但終歸治標不治本。
餘江轉頭望著閆宏飛。
「要不試試全局去重？」
閆宏飛一怔：「怎麼全局，什麼架構？」
「引入一個輕量Master節點，專門維護一個全局BloomFilter做去重。」
「位數組大小按我們當前幾千萬網頁規模留足餘量，用幾個獨立哈希函數，誤判率控製在千分之五以內就夠用。Worker節點本地先快速過濾，新提取的URL再批量通過TCP發給Master確認。」
「關鍵是per—hostbackqueues：Master按主機名hash分桶，每個主機維護一個FIFO隊列和一個下次可抓時間————」
「————Master本身用輕量內存結構，也沒什麼瓶頸。」
。案方出給地慢慢邊一，索思邊一江餘
。慨感也時同他
。在存的般一虎路攔是卻在現在，案方決解的般一書科教門入擎引尋搜是算乎幾世後在些這
。江餘向望地猛後最，著聽地真認飛宏閆
」？過乾前之你「
。江餘著盯地死死飛宏閆
！案方決解的整完乎近出給就內間時短麼這在會，人的擎引尋搜過乾有沒個一，信不全完他
」。過玩沒蟲爬式布分但————式布分過玩也，蟲爬過玩「：咳了咳輕輕江餘
」？的玩裡哪上你！暈我「
。語無陣一江餘
。了休不個問要都天每是怕，住震們兄師幫這把不道知
」？嗎器服伺強誌川P台百上有下底手她，姐的錢有常非個有我，說我要得非，兄師「
」！靠「
。身起地猛飛宏閆
。門進好正也波彭和飛徐，時這
」！住按他把緊趕！好正得來倆你「
。驚一時同人二
」？啥乾要你哥閆「
。啥乾身起己自道知不也乎似，愣一是飛宏閆
。江餘向望頭轉快很他但
」？嗎兄師給紹介姐你把能，弟師「
