采用一定手段“爬蟲”可防可控
任何事情都有兩面,“爬蟲”技術也不例外。
在閆懷志看來,“爬蟲”既可為正常的數據批量獲取提供有效的技術手段,也可被惡意使用以獲取不當利益。如果“爬蟲”技術被不正當利用,就會帶來一定的危害。
首先,威脅數據安全。航空公司售票網站數據被惡意爬取,數據可能會被機票代理公司惡意利用,而且還存在被同業競爭對手獲取的風險。
其次,導致系統性能下降,影響用戶體驗。“爬蟲”大量的抓取請求會導致航空公司售票網站服務器資源負載上升、性能下降,網站響應變慢甚至無法提供服務,對用戶搜索和交易體驗造成負面影響。但由于存在巨大的灰色利益空間,同時“反爬蟲”技術在與“爬蟲”對抗中作用有限,使得這種顯失公平的“作弊”方式成為擾亂機票市場秩序的技術“頑疾”。
“從技術角度來看,阻擊‘爬蟲’可以通過網站流量統計系統和服務器訪問日志分析系統。”閆懷志說,通過流量統計和日志分析,如果發現單個IP訪問、單個session訪問、User-Agent信息超出設定的正常頻度閾值,則判定該訪問為惡意“爬蟲”所為,將該“爬蟲”的IP列入黑名單以拒絕其后續訪問。
再就是設置各種訪問驗證環節。比如,在可疑IP訪問時,返回驗證頁面,要求訪問者通過填寫驗證碼、選取驗證圖片或者字符等方式實現驗證。如果是惡意“爬蟲”爬取,顯然很難完成上述驗證操作,進而可以封鎖該“爬蟲”的訪問,防止其惡意爬取信息。
互聯網空間不能有“灰色地帶”
當前,云計算、大數據等為代表的新一代信息技術處在高速發展階段。
“上述新技術如果被非法或者不當應用,則會產生嚴重的危害?;ヂ摼W空間安全需要建立健全完善的保護體系,絕不能‘裸奔’。”閆懷志說。
2017年6月1日,我國網絡安全法正式實施,明確了各方在網絡安全保障中的權利與責任。這是中國網絡空間治理和法制建設從量變到質變的重要里程碑,這部法律作為依法治網、化解網絡風險的法律重器,成為我國互聯網在法治軌道上健康運行的重要保障。
然而,目前對于高科技“黃牛”倒票行為,尚未有明確規定,使得惡意爬取信息并不當獲利行為處在法律法規監管的“灰色地帶”。
閆懷志介紹,國際上,針對“爬蟲”應用,專門制訂了Robots協議(即“爬蟲”協議、網絡機器人協議等)。該協議全稱為“網絡爬蟲排除標準”,網站可通過該協議告知“爬蟲”可以爬取哪些頁面及其信息,不能爬取哪些頁面及其信息。該協議作為網站和“爬蟲”的溝通方式,用來規范“爬蟲”行為,限制不正當競爭。
作為國際互聯網界通行的道德規范,該協議的原則是:“爬蟲”及搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;網站有義務保護其使用者的個人信息和隱私不被侵犯。這就規定了爬取者和被爬取者雙方的權利和義務。
一位不愿具名的法律專家也表示,“反爬蟲”不僅要依靠技術防范和業界自律,還應該通過完善管理和法律法規手段來約束這種行為,尤其是法律手段才能彰顯懲治力和震懾力。航空公司也要完善賬期管理,不給“爬蟲”搶票提供機會。(記者付麗麗)