有些时候垃圾爬虫,可能不会是为了收录,只是寻到网站漏洞突破口
2020年时,为一客户整理服务器,只要一被爬虫扫描,该客户的站点,就有可能被注入违法信息!
几十种爬虫,,一爬,就是几百兆上G的,网站日志,
里面是五花八门,只要是服务器上存在的,没有存在的目录或路径,会全部爬一个遍,
无论是,css还是js还是一个图标文件,,都会被爬一遍,
我一度怀疑是一些网络取证平台,在收集网站程序的数据,作为取证使用!必定,2020年时,就有批量维权的,专门扫站,然后,把取到的证据,固化,通过维权团队,来向企业发送维权函!
所以,在2020年,开始,觉得,或许,知权严格,和网站安全,或许是未来行业内的一个商机,所以把自己的软件包装一下,即能给自己的客户群体提供知权保障,还能在事市竟争中提升自身的竟争优势!
几十种爬虫,,一爬,就是几百兆上G的,网站日志,
里面是五花八门,只要是服务器上存在的,没有存在的目录或路径,会全部爬一个遍,
无论是,css还是js还是一个图标文件,,都会被爬一遍,
我一度怀疑是一些网络取证平台,在收集网站程序的数据,作为取证使用!必定,2020年时,就有批量维权的,专门扫站,然后,把取到的证据,固化,通过维权团队,来向企业发送维权函!
所以,在2020年,开始,觉得,或许,知权严格,和网站安全,或许是未来行业内的一个商机,所以把自己的软件包装一下,即能给自己的客户群体提供知权保障,还能在事市竟争中提升自身的竟争优势!