利用爬虫攻击网站犯罪吗-利用爬虫攻击网站

爬虫到底是什么？爬虫是否违法？简谈爬虫概念

在我没接触这一行时这个问题困扰了我很长时间，让我十分的不理解到底什么是爬虫，它难道是一种实体工具？，直到我学习python 深入分析了解以后才揭开了它神秘的面纱。

爬虫是什么呢？爬虫有简单的爬虫和复杂的爬虫。实际上简单的爬虫是一种 脚本 ，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

脚本就是粗糙的，但往往非常实用的小程序（一般来说不会超过几千行，有时候也就几百几十行的代码构成）。举个简单的例子，你现在要从一个学生租房的网站上读取关于出租的学生公寓的信息。你一条一条去抄写肯定是不现实的。所以就要用爬虫。可以把一个信息类网站上几千条信息一次全部扒下来。百度，谷歌这类的搜索引擎你也可以认为是一种爬虫，只不过这类的技术十分的复杂，不是简单的脚本。

搜索引擎是如何工作的？其实就是通过网络爬虫技术，将互联网中数以百亿计的网页信息保存到本地，形成一个镜像文件，为整个搜索引擎提供数据支撑。

这样的技术首先就会涉及到一个十分重要并且人人关注的问题——是否违法？

仔细探究后总结出了如下观点：

1.遵守 Robots 协议，但有没有 Robots 都不代表可以随便爬，

2.限制你的爬虫行为，禁止近乎 DDOS 的请求频率，一旦造成服务器瘫痪，约等于网络攻击；

3.对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是 Hacker 行为；

4.审视清楚自己爬的内容，绝不能触碰法律的红线。

至此你应该明白，爬虫本身并不违法，而是要看你使用的方式和目的，还要看其商业用途。

使用爬虫技术中，有什么限制，意思是爬虫可以从所有的网络网站网页，企业，私人，去抓取信息吗？

网络上的公开信息大家都有权利获取，但并不意味着可以获取他人隐私，更不能将爬取的信息用于非法途径，出于学习、研究目的爬取一些企业公开信息是合法的，切记不可利用爬虫获取他人未授权的信息，比如你爬取企业网站展示的内容是无可非议的，但是爬取别人的网站后台就属非法了。别忘了爬虫学得好，牢饭吃到饱。不要用于非法目的，不要用于非法目的，不要用于非法目的，重要的事说三遍。望采纳

使用爬虫采集网站时，怎么样解决被封ip的问题

1.IP必须需要，，ADSL。如果有条件，其实可以跟机房多申请外网IP。

2.在有外网IP的机器上，部署代理服务器。

3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。

好处：

1.程序逻辑变化小，只需要代理功能。

2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。

3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。

方法2.

有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。

大部分网站么，如果要频繁抓取，一般还是要多IP。我比较喜欢的解决方案是国外VPS再配多IP，通过默认网关切换来实现IP切换，比HTTP代理高效得多，估计也比多数情况下的ADSL切换更高效。

方法3.

ADSL + 脚本，监测是否被封，然后不断切换 ip

设置查询频率限制

正统的做法是调用该网站提供的服务接口。

方法4.

8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信区局，能跨省跨市更好，自己写好断线重拨组件，自己写动态IP追踪服务，远程硬件重置（主要针对ADSL猫，防止其宕机），其余的任务分配，数据回收，都不是大问题。我的已经稳定运行了好几年了，妥妥的！

方法5.

1 user agent 伪装和轮换

2 使用代理 ip 和轮换

3 cookies 的处理，有的网站对登陆用户政策宽松些

友情提示：考虑爬虫给人家网站带来的负担，be a responsible crawler

方法6.

尽可能的模拟用户行为：

1、UserAgent经常换一换；

2、访问时间间隔设长一点，访问时间设置为随机数；

3、访问页面的顺序也可以随机着来

方法8.

网站封的依据一般是单位时间内特定IP的访问次数.

我是将采集的任务按 目标站点的IP进行分组 通过控制每个IP 在单位时间内发出任务的个数,来避免被封.当然,这个前题是你采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.

方法9.

1. 对爬虫抓取进行压力控制；

2. 可以考虑使用代理的方式访问目标站点。

-降低抓取频率，时间设置长一些，访问时间采用随机数

-频繁切换UserAgent（模拟浏览器访问）

-多页面数据，随机访问然后抓取数据

-更换用户IP

人人都要懂得网站爬虫知识，你知道多少呢？

网络爬虫是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。[2] 可以理解为一个自动访问网页并进行相关操作的小机器人。本质上就是实现高效、自动地进行网络信息的读取、收集等行为。爬虫程序最早是1994年休斯敦大学的Eichmann开发的RBSE。著名的谷歌公司使用的Google Crawler是当时还是斯坦福大学生Brin和Page在1998年用Python开发的。

使用爬虫技术可能带来的法律风险主要来自几方面：

（1）违反被爬取方的意愿，例如规避网站设置的反爬虫措施、强行突破其反爬措施；

（2）爬虫的使用造成了干扰了被访问网站正常运行的实际后果；

（3）爬虫抓取到受法律保护的特定类型的信息。其中，第（3）类风险主要来自于通过规避爬虫措施抓取到了互联网上未被公开的信息。

答：遵守robots 协议的就不违法了 。

答：查询网站域名加/robots.txt 的链接下的文件。

比如 抖音：。

User-Agent: 以下规则适用的机器人（例如“Googlebot”等）

Disallow: 您希望阻止机器人访问的页面（根据需要，禁止多行）

阻止整个网站： Disallow: /

阻止一个目录及其中的一切： Disallow: /private_directory/

阻止页面： Disallow: /private_file.html

要阻止一个页面和（或）一个名为private的目录： Disallow: /private

Allow: 不需要阻止机器人访问的页面

Noindex: 您希望搜索引擎阻止和不要索引的页面（或者如果先前已建立索引，则将其解除索引）。支持Google，不支持雅虎和实时搜索（Live Search），其他搜索未知。

例如：为了允许机器人对所有http页面进行索引 ：

User-agent: *

Disallow:

答：每当他们访问网站时，都会检查robots.txt文件。一旦将robots.txt文件的规则上传到站点的根目录并且机器人进入站点，则robots.txt文件中的规则将会生效。访问的频率根据流行度，权限以及内容更新频率的不同，机器人蜘蛛网的频率有所不同。有些网站每天可能会被抓取多次，而其他网站可能每周只能爬行几次。

抓取延迟：

某些网站可能会遇到大量流量，并希望将搜索引擎蜘蛛减慢，以允许更多的服务器资源来满足常规流量的需求。抓取延迟是Yahoo，Live Search和Ask所认可的特殊指令，指示抓取工具在抓取页面之间等待的秒数：

模式匹配

模式匹配现在似乎可用于：Google，Yahoo和Live Search。模式匹配的价值相当可观。让我们先看一下最基本的模式匹配，使用星号通配符。阻止访问以“private”开头的所有子目录：

您可以使用美元符号（$）匹配字符串的末尾。例如，阻止以.asp结尾的URL：

与在Perl和其他地方的正则表达式中发现的更先进的模式匹配不同，问号没有特殊的权力。所以，阻止对包含问号（？）的所有URL的访问，只需使用问号（不需要“转义”或者使用反斜杠）：

阻止机器人抓取特定文件类型的所有文件（例如.gif）：

假设您的站点仅使用查询字符串部分的URL（“？”），仅用于会话ID，并且您要排除包含动态参数的所有URL，以确保机器人不会抓取重复的页面。但是您可能希望包含以“？”结尾的任何URL。以下是如何实现的：

允许指令：

就像听起来一样，它与Disallow指令相反，它提供了专门调用可能被抓取的目录或页面的能力。这在大部分或者整个场地被禁止之后可能是有益的。

要允许Googlebot只进入“google”目录：

Noindex指令：

该指令提供了从搜索结果中消除无代号无标题列表的优点，但仅限于Google。用Matt Cutts的话说： Google允许在robots.txt中使用NOINDEX指令，它将完全从Google删除所有匹配的站点URL。（这种行为可能会根据这个政策讨论而改变，当然这也是为什么我们还没有谈论过这个问题。）

网站地图：

XML网站地图文件可以告诉搜索引擎您网站上的所有页面，并且可选地提供有关这些页面的信息，例如哪些是最重要的以及更改频率。它充当一个自动发现机制，让蜘蛛找到XML站点地图文件。您可以通过在robots.txt文件中添加以下行来告诉Google和其他搜索引擎您的Sitemap：Sitemap: sitemap_location

sitemap_location是Sitemap的完整网址。此指令与 User-agent 与此无关，因此放在任何地方并不重要，不过一般是放在最后。所有主要的搜索引擎都支持Auto-Discovery Sitemap协议，包括Google，Yahoo，Live Search和Ask。

1、我们要合理在网站允许范围内采集网页数据

参考robot.txt的爬虫协议。

2、其次要符合网站的爬虫频次限制。

有个标识是，不能让采集网站失去正常访问的功能。比如正常访客进入网站出现卡顿、白屏、服务器资源消耗严重等。

最后，希望大家合法合理地使用爬虫技术。

参考：

参考：

可以用爬虫来获取一些网站的内容，那么一些网站会做反爬虫程序么？难做么？会对搜索引擎造成什么影响？

正规情况下可以用robots协议阻止搜索引擎爬取网站

但并不是所有的搜索引擎都遵循robots协议(某些知名搜索引擎也不遵守，该协议不是强制遵循的)

一般反爬虫的程序最简单的方法就是通过UserAgent识别爬虫，但并不是所有爬虫都有明确的UserAgent，还有些不知名的搜索引擎不设置自己独有的UserAgent，同时UserAgent也可以被任意的伪造，所以并不能保证完全过滤一些爬虫。

为了更进一步识别爬虫，只能通过限制某个IP的访问，如果IP在变化也很难阻止其爬行，仅能根据一些访问行为进行分析是否为爬虫自动抓取，如果是爬虫，则可以用一个403返回码阻止网页的显示。这样搜索引擎抓到的页面都是403错误页面，具体内容无法抓取。

如果有人专门想要抓取你的网站内容，它可以专门定制一种策略来想办法模拟人工访问，很难做到彻底阻止。

爬虫可以破解网址吗

这也许是破解所有网站,当然是爬虫实现的 现在的技术真的是越来厉害了,而且相比于以往复杂的...