10年積累的做網(wǎng)站、網(wǎng)站制作經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有桐廬免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

我國目前并未出臺專門針對網(wǎng)絡(luò)爬蟲技術(shù)的法律規(guī)范，但在司法實踐中，相關(guān)判決已屢見不鮮，K 哥特設(shè)了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規(guī)利用爬蟲技術(shù)，警鐘長鳴，做一個守法、護法、有原則的技術(shù)人員。

案情介紹

深圳市快鴿互聯(lián)網(wǎng)科技有限公司 2014 年成立，早期做互聯(lián)網(wǎng)金融，2017 年轉(zhuǎn)型做互聯(lián)網(wǎng)科技公司，主營業(yè)務(wù)是“助貸”，也就為按揭貸款購房的客戶提供贖樓及債務(wù)置換貸款等服務(wù)。

公司的業(yè)務(wù)需要經(jīng)常性地訪問深圳市政府居住證網(wǎng)站，查詢房產(chǎn)地址、房屋編碼和學(xué)區(qū)房的使用情況，用于做房產(chǎn)的市場評估和客戶風險評估。因為手動查詢效率低下，公司產(chǎn)品組經(jīng)討論后提出了一個建議——用爬蟲技術(shù)自動查詢。

2017 年 12 月，CTO 安排新入職的程序員負責這個項目，要求他研發(fā)一個自動定時抓取的小程序，主要用來查詢、下載網(wǎng)上的數(shù)據(jù)。

2018 年 1 月，項目經(jīng)理給程序員一個抓取數(shù)據(jù)的小程序源代碼，程序員開始修改。

2018 年 3 月，程序被部署在阿某云服務(wù)器上自動運行，其內(nèi)置的“網(wǎng)絡(luò)爬蟲”對接了深圳市公安局人口管理處的居住證系統(tǒng)，可以在深圳市居住證網(wǎng)站上查詢到房產(chǎn)地址、房屋編碼等對應(yīng)的資料，軟件對網(wǎng)站訪問量能達到每小時數(shù)十萬次，查詢的信息都被下載保存到公司購買的阿某云服務(wù)器上。

2018 年 4 月 27 日 10:43-12:00 左右，居住證系統(tǒng)的承建單位發(fā)現(xiàn)系統(tǒng)出現(xiàn)宕機現(xiàn)象，追蹤到請求應(yīng)用服務(wù)器端口編號，但因日志缺失而無法定位 IP 來源，當時懷疑是人為攻擊。

2018 年 5 月 2 日 10:00-12:00 左右，系統(tǒng)再次遭遇攻擊，這次管理人員成功地截取了 IP 地址并報案。

2018 年 5 月 17 日晚上 11 點，服務(wù)器維護人員接到了阿某云客服的電話。阿某云說他們公司的服務(wù)器 IP 被網(wǎng)警鎖定了，因有攻擊行為，讓他們趕緊聯(lián)系網(wǎng)警。

2018 年 8 月，CTO、程序員被捕。

案發(fā)時，深圳市居住證服務(wù)平臺的注冊用戶超過 530 萬，服務(wù)面包括：所有市民的網(wǎng)上自助受理系統(tǒng)、151個派出所、街道辦居住證受理點的現(xiàn)場受理系統(tǒng)、后臺接口為市網(wǎng)格辦、市交警局、市民政局，市交委等多個政府部門提供居住證、居住登記條件查詢和審核。

居住證系統(tǒng)受攻擊癱瘓期間，軟件對深圳市居住證系統(tǒng)查詢訪問量為每秒 183 次，共計查詢信息約 151 萬條次，抓取了大量建筑物編碼數(shù)據(jù)，造成政府信息泄漏；所有居住證辦理、居住登記申報、信息查詢、對外服務(wù)功能均無法正常工作，影響面極廣，市民無法辦理居住證和居住登記，相關(guān)生產(chǎn)生活秩序受到嚴重影響。除了此次攻擊，還有一些派出所出具證明證實 5 月期間經(jīng)常出現(xiàn)系統(tǒng)無法登陸，錄入過程頻繁出現(xiàn)掉線、系統(tǒng)數(shù)據(jù)異常等情況。居住證系統(tǒng)無法正常使用、出現(xiàn)異常情況的時間長達一個多月。

供述情況

CTO 的部分供述和辯解：我司查詢并下載深圳市居住證網(wǎng)上的數(shù)據(jù)信息沒有進行市場買賣，沒有跟其他公司進行資源置換，也沒有通過查詢信息行為獲利。我不清楚這款爬蟲軟件對深圳市居住證網(wǎng)站及系統(tǒng)造成的影響、深圳市居住證網(wǎng)站及系統(tǒng)的承載能力、爬蟲軟件的具體的啟動和部署情況，但我知道從技術(shù)上來講如果超過服務(wù)器承載能力的查詢肯定會引起系統(tǒng)卡頓或癱瘓，所以我口頭要求注意查詢時間、控制查詢頻率，我司并無任何惡意去主觀進行攻擊。

程序員的部分供述和辯解：抓取數(shù)據(jù)的原程序是誰研發(fā)的我不知道，當時我接到這個任務(wù)時，是公司領(lǐng)導(dǎo)把源代碼給我后讓我修改的。這個程序查詢信息的頻率我不清楚，共查詢多少條信息我也不清楚，我沒有因查詢深圳市居住證網(wǎng)站的信息而獲利，這是我的工作任務(wù)。

判決情況

法院認為，被告人楊杰明、張國棟違反國家規(guī)定，對計算機信息系統(tǒng)功能進行干擾，造成為 5 萬以上用戶提供服務(wù)的計算機信息系統(tǒng)不能正常運行累計 1 小時以上，后果特別嚴重，其行為已構(gòu)成破壞計算機信息系統(tǒng)罪。

CTO 負責并授權(quán)程序員開發(fā)涉案爬蟲軟件，系主犯，判處有期徒刑三年；程序員受指派開發(fā)爬蟲軟件，在共同犯罪中起次要作用，系從犯，判處有期徒刑一年六個月。

判決文書全文：https://wenshu.court.gov.cn/website/wenshu/ANFZ0BXSK4/index.html?docId=ddbe90eedded9acb67fb

反思總結(jié)

• 爬蟲程序日志記錄、監(jiān)控告警的重要性：本案中，在被捕之前就有過一次目標網(wǎng)站宕機的情況，這時候請求成功率、數(shù)據(jù)量大小、目標網(wǎng)站服務(wù)器的響應(yīng)情況等肯定會出現(xiàn)異常，正確的做法是有一定的告警策略，連續(xù)出現(xiàn)多少次無數(shù)據(jù)、目標網(wǎng)站訪問異常的時候，就應(yīng)該告警通知到程序員，特別是政府網(wǎng)站，本案中的程序顯然沒有這些功能，導(dǎo)致程序員未能及時發(fā)現(xiàn)問題并進行處理，要知道這次對方運維人員并沒有成功定位到 IP，及時處理完全可以避免成為“爬蟲牢玩家”，給過一次機會都把握不住，警察上門才知道釀成大禍，到那時候一切都晚了。
• 爬蟲代碼的健壯性：根據(jù)本案中程序員的供述，目標網(wǎng)站更新了驗證碼登錄的功能，但是程序并沒有針對這種情況做處理，也沒有及時更新，導(dǎo)致程序出現(xiàn)死循環(huán)，進而導(dǎo)致短時間內(nèi)出現(xiàn)了大量請求，這就體現(xiàn)了代碼健壯性的重要性，在編寫程序時就要綜合考慮到可能出現(xiàn)的情況，檢測到某個接口異常，無法拿到正確的數(shù)據(jù)，重試是正常的，但不能任何情況都重試，也不能一直重試出現(xiàn)死循環(huán)的情況，應(yīng)該有合理的規(guī)則，合理的重試次數(shù)，超過設(shè)定的次數(shù)就應(yīng)該告警并停止程序的運行，一部分程序員喜歡直接暴力使用 try except 語句直接捕獲所有異常，然后 except 里就直接重試，正確的做法是針對不同可能出現(xiàn)的異常做不同處理，取值異常應(yīng)該怎么處理，連接異常應(yīng)該怎么處理等等。
• 避免單一真實 IP 采集：本案中的程序使用一個固定 IP 采集了約 151 萬條次的數(shù)據(jù)信息，很顯然目標網(wǎng)站沒有封 IP 的策略，但這并不意味著我們程序就不用使用代理，當然使用代理，也得建立在合法合規(guī)的請求之上，部分代理商也會協(xié)助你判斷請求是否合規(guī)，完善的請求統(tǒng)計也能幫助你判斷是否出現(xiàn)異常情況。
• 爬蟲頻率控制：本案中，造成目標服務(wù)器宕機時，程序的并發(fā)是每秒 183 次，在普通的爬蟲程序中這點兒并發(fā)確實不是很大，但要注意的是，目標網(wǎng)站是政府網(wǎng)站，尤其是地方政府的專屬職能系統(tǒng)，這些網(wǎng)站在軟硬件上都不會投入太多資源，加上該網(wǎng)站為151個派出所、街道辦等多個部門提供服務(wù)，某個時刻可能會出現(xiàn)多個部門同時大量處理事務(wù)的情況，再加上你的爬蟲程序，服務(wù)器撐不住很正常，案例中程序設(shè)置了凌晨1時至2時進行采集是比較正確的做法，政府網(wǎng)站降低頻率、錯峰采集，一定程度上也能避免爬宕機的情況。
• 對需求的風險評估及把控不足：CTO 自述中表明意識到這么操作會破壞深圳市公安局居住證服務(wù)平臺，但是為了方便以后的查詢，就著急著去做了，沒有考慮那么多的后果。也就是在明知道可能存在風險的情況下，還未對該需求進行嚴格的監(jiān)管，正因為抱有僥幸心理，為以后埋下了“定時炸彈”。正確的做法應(yīng)當是做細致嚴謹?shù)囊?guī)劃，研究該需求的合理性，再考慮要不要下發(fā)實施，而程序員也沒對下發(fā)需求做可行性分析，拿著需求和基礎(chǔ)代碼就去做了，還未進行監(jiān)控管理，這提醒我們立項時多問一句“我們這么做有沒有風險”沒壞處，特別是爬蟲工程師們要多對需求進行理性分析，隱患大的需求該拒絕就拒絕，畢竟有些事看起來是“集體”的決策最后往往并不是集體買單，如果公司因此威脅辭退你，那趕緊拿錢跑路，這種公司遲早得出問題！
• 溫馨提醒：以上案例提醒我們，在工作中碰到類似情況后，建議在事前咨詢公司法務(wù)或者專業(yè)人士，不要想當然，不要自以為是。謹記一點，公司是老板的，自由是自己的，法律是不容觸犯的！

友情提示之公司辭退員工補償標準：

《勞動合同法》第47條規(guī)定：

1、經(jīng)濟補償按勞動者在本單位工作的年限每滿一年支付一個月工資的標準向勞動者支付；

2、六個月以上不滿一年的，按一年計算；

3、不滿六個月的，向勞動者支付半個月工資的經(jīng)濟補償，月工資是指勞動者在勞動合同解除或者終止前十二個月的平均工資。

合同未到期，員工無過錯情形下，單位提出與員工解除勞動合同的非自行離職的情況下，可索要 N+1 月工資的補償：N 為在職年限，不足一年但超過半年，則按一年算；1 為辭退員工需要提前一個月通知，否則需要補償 1 個月工資作為代通知金。