自学Python:网络爬虫引发的三个问题
网络爬虫是指是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
爬虫很方便，但是也会引发三个问题，如果使用不好，或许会导致法律风险。
01.骚扰问题
就好比骚扰电话一样，服务器本来是给用户访问的，但是爬虫的访问可以带来快速上万次的访问，影响服务器的性能，给本来想访问的用户带来卡顿。不过服务器这边也会有响应的防爬技术限制。
02.法律风险
不是任何数据你都可以爬取的，如果你违规获取了一些信息，是要受到法律惩罚的。想要完全出入自由的黑客还是很少的。
03.隐私泄露
爬取的很多信息可能是用户私人的内容，就会造成很多隐私泄露导致的问题，比如照片门之类的后果。
基于此，所以有了Robots协议，是每个人都要遵守的，但是也可以不遵守，就可能有法律风险。就好比红绿灯，你可以遵守也可以不遵守，你要考虑为自己的行为负责。
_______________END______________
爬虫每秒访问多少次算攻击
一百次。小于100次访问的爬虫是没什么影响的，但是到了100次访问就算攻击，会造成系统的瘫痪。网络爬虫是按照一定规则从互联网上抓取信息的程序。
爬虫究竟是合法还是违法的？
据说互联网上 50%以上的流量都是爬虫创造的，也许你看到很多热门数据都是爬虫所创造的，所以可以说无爬虫就无互联网的繁荣。
前天写了一篇文章《 只因写了一段爬虫，公司200多人被抓！》，讲述程序员因写爬虫而被刑侦的事件。文章传播很广，评论中讨论最热是： 爬虫究竟是合法还是违法的？
这个话题涉及到我们很多程序员的日常工作，所以有必要和大家细聊一下。
01.技术无罪？
在今年国家颁布 《中华人民共和国网络安全法》 之后，很多以前处于灰色地带的业务都不能做了。
君不见之前曾经非常火的各种社工库网站，现在绝大部分都已经消失匿迹了吗？因为最新的安全法强调： 贩卖个人信息超过50条属于“情节严重”，需要追求其法律责任。
很多草根站长都纷纷主动关闭了网站；还有很多涉及版权信息的网站，比如书籍、影视剧、课程等后期也会面临越来越严格的审查，这就是目前大的形势。
2014年12月20日，人人影视字幕站发布微博称，人人影视正式关闭，并表示或将继续为正版商提供翻译服务，也可能转变为讨论社区的形式。
2019年6月，吾爱破解因版权问题关站整改...
.....
随着中国经济的不断往前走，知识产权问题会越来越重视，非法爬虫是现在一个重要的打击部分，
如果有程序员走在灰色的边缘尽早收手，不要因为一点小的收益导致触犯法律，从而得不偿失。
技术是无罪的，但是用到了错的地方代价也是非常巨大的。
02.爬虫岗位人人自危
我在拉钩上搜索： 爬虫工程师，显示有 217 条相关招聘信息，薪资从10-60k 都有，说明市场上对爬虫的需求是很大的。
简单回答一下这些问题：
还有朋友认为这事责任在企业不在程序员，日常工作中项目初期设计和最后上线需要通过公司的法务批准，所有代码必须有其他程序员同事评审通过才能提交。
这位朋友说的挺对的，按道理每个公司都应该有法务和风控在前面，后面才是产品设计和程序员开发的事情，但如果一家公司为了利益，老板可以直接让这两个部门闭嘴，后面程序员可以不干吗？
更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要操一份心，凡是涉及到入侵类的程序都不能干，因为有一个东西叫做： 单位犯罪 。
单位犯罪 ，是指公司、企业、事业单位、机关、团体为单位谋取利益，经单位决策机构或者负责人决定实施的，法律规定应当负刑事责任的危害 社会 的行为。
我国刑法对单位犯罪原则上采取 双罚制度 ，即单位犯罪的，对单位判处罚金，并 对其直接负责的主管人员和其他直接责任人员判处刑罚。
03.什么样的爬虫是非法的？
爬虫不能涉及个人隐私！
如果爬虫程序采集到 公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息 ，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。
也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。
另外，还有下列 三种情况 ，爬虫有可能违法，严重的甚至构成犯罪：
现在网上有很多付费的课程，比如极客时间、Gitchat、慕课网、知识星球等等，这些付费内部信息如果被非法爬取手法出售获利，一种违法行为。
之前我就遇到一个网友，把各个知识星球的内容都抓下来，合到一起自己去卖，自作聪明觉得发现了一个大的商机，其实自己不知道这个行为其实很危险，风险和收益明显不对等。
我这两天看的时候，他的一个公众号都被封了，后来又转移了一个小号继续搞，迟早又是被封的命运，真的很不值当。最可怜是那些买他服务的用户，因为他宣传时承诺永久，肯定永久不了。
04.什么样的爬虫是合法的？
1、 遵守 Robots 协议
Robots 协议也叫 robots.txt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
Robots 协议就是告诉爬虫，哪些信息是可以爬取，哪些信息不能被爬取，严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。
2、不能造成对方服务器瘫痪
但不是说只要遵守 Robots 协议的爬虫就没有问题，还涉及到两个因素，第一不能大规模爬虫导致对方服务器瘫痪，这等于网络攻击。
2019年05月28日国家网信办发布的《数据安全管理办法（征求意见稿）》中，拟通过行政法规的形式，对爬虫的使用进行限制：
网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
3、不能非法获利
恶意利用爬虫技术抓取数据，攫取不正当竞争的优势，甚至是牟取不法利益的，则可能触犯法律。实践中，非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少，大多是以不正当竞争为由提请诉讼。
举个例子，如果你把大众点评上的所有公开信息都抓取了下来，自己复制了一个一模一样的网站，并且还通过这个网站获取了大量的利润，这样也是有问题的。
一般情况下，爬虫都是为了企业获利的，因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。
05.最后
有风险的行业谨慎进入，比如现金贷、不合规的P2P、赌博类 游戏 、黑五类产品的行业。如果公司安排入侵某个网站数据，或者有同事/朋友邀请泄露公司信息的都需要保持警惕，有时候一个很小的动作都有可能导致出问题。
我们绝大多数公司和个人使用的爬虫都是没有问题的，不必人人自危，只要把握住不要爬取个人信息，不要利用爬虫非法获利，不要爬取网站的付费内容，基本上不会有问题。
程序员是世界上最单纯的一批人，也是一批高智商低情商的人，工作是工作但也需要适当保持谨慎，对于一些游走在法律边缘的事情请保持距离。
敬畏法律，遵纪守法，从我做起。
参考：
作者： 纯洁的微笑 .出处：
互联网上的任何东西都可以爬取吗?
写爬虫的小伙伴要注意，爬虫一时爽，但不是一直爬一直爽。
如果你的爬虫触犯了法律，可是要承担责任的哦，那么什么样的爬虫才算是安全的爬虫呢?
现在我来结合一下实际情况，给几点建议吧：
1、爬虫访问频次要控制，别把对方服务器搞崩溃了
虽然你爬取的信息都是公开的，也不涉及公民隐私，爬取的数据也不用于违法获利，只是自己弄着玩，但是如果你的爬虫太疯狂了，一分钟请求1万次，导致对方服务器应接不暇，不能处理正常业务了，对不起，你这种属于违法行为，这种爬虫等同于进行黑客攻击了，你让人家不能正常工作了，损害了对方的利益
2、 涉及到个人隐私的信息你不能爬
其实这很好理解，你希望你自己的电话号，身份证号，家庭住址，工作单位，行踪轨迹这些隐私信息被别人用爬虫抓取么?当然不希望，别人抓了你的这些信息，你肯定想去报警对不对，让警察去抓那个坏蛋，ok，你不要去做那个坏蛋。
3、 突破网站的反爬措施，后果很严重
正规的网站都会在根目录下放置
robots.txt，这里就规定了哪些能爬，哪些不能爬，谁可以爬。对于那种反爬特别严重的，例如淘宝，你最好别去爬，如果你真的利用你的高智商突破了淘宝的反爬措施，那么恭喜你，你已经违法了。
4、 不要用爬取的数据做不正当竞争
比如你把大众点评的评论数据都爬下来了，然后自己搞了一个xx点评，这肯定不行，人家辛辛苦苦的积累的数据，你轻轻松松的弄下来，直接拿来主义，跟人家搞竞争，你不违法谁违法。
5、 付费内容，你不要抓
既然是付费内容，说明这东西价值很高，付费才能看，你弄下来了，你想干啥?你私自传播，就对网站造成了潜在损失。
6、最后一条，突破网站反爬措施的代码，最好不要上传到网上
你技术很牛逼，能突破网站的反爬措施，你把这些代码发布到网上，比如github，你自己没做啥坏事，可是想做坏事的人利用了你的代码，入侵了网站，那么，这种情况下，你也是有责任的，这个听起来有点冤，但确实存在这样的风险，所以，最好还是不要这么干。
数据爬虫的是与非：技术中立但恶意爬取频发，侵权边界在哪？
从新浪微博诉脉脉不正当获取用户数据案，到领英与hiQ Labs的数据之争……相关司法案例的不断出现，让数据爬取问题成为关切。
10月23日，长三角数据合规论坛(第三期)暨数据爬虫的法律规制研讨会在上海举行。围绕爬虫技术对数字产业影响、爬取他人数据的法律边界及规制等话题，多位法律专家、司法工作者和企业代表展开了研讨。
大数据时代，随着数据价值凸显，数据爬虫的应用日益广泛。多位专家在会上提到，爬虫技术本身是中立的，但爬虫技术的应用往往带有目的，需要考量抓取行为及数据使用是否具有正当性。
“凶猛”的网络爬虫，增加网站运营负担
从技术角度看，爬虫是通过程序模拟人们上网浏览网页或使用App行为，从而高效抓取网络信息的过程。对于这项技术，并非所有人都欢迎。
欧莱雅中国数字化负责人刘煜晨在研讨会上表示，大多数网站拒绝爬虫访问，既有商业利益考量，也出于自身网站运营安全考虑。爬虫自动持续且高频地访问，会导致网站服务器负载飙升，使得一些中小平台面临网站打不开、网页加载缓慢，甚至直接瘫痪的风险。因此，“网站经营者面对‘凶猛’的网络爬虫时往往苦不堪言。”
虽然网站可以采取相应策略或技术手段，防止被爬取数据，但爬虫者也有更多技术手段来反制，即所谓的反反爬策略。据刘煜晨介绍，反爬和爬取技术一直在迭代更新——爬取不是问题，关键在于愿不愿意爬和多难爬。通常，越是大厂的App或者网站越难爬，其反爬机制较多。
小红书法务负责人曾翔观察发现，恶意爬虫案例经常发生在内容平台和电商平台。在内容上更多被爬取视频、图片、文字、用户行为数据等，在电商领域更多被爬取商家信息和商品信息。
“一般而言，内容平台会约定相关内容的知识产权应当归发布者或发布者与平台共同所有。未经同意爬取的，涉嫌侵犯知识产权。”曾翔表示，平台通过投入激发创作者的创造力，如果有人利用爬虫技术很轻易地获取内容，并进行抄袭、改编，这损害平台利益。
提及网络爬虫，Robots协议是绕不开的话题——它的全称是“网络爬虫排除标准”，网站通过Robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议也被行业称为搜索领域的“君子协定”。
上海浦东法院知识产权庭法官徐弘韬这样形容：爬虫就是一个访客，Robots协议是房门上悬挂的请勿入门的告示牌。谦谦君子走近门前看到这个告示牌，会停下脚步，但不法之徒仍可能破门而入。
梳理相关判例，徐弘韬指出，Robots协议是互联网行业普遍遵循的规则，如果搜索引擎违反Robots协议抓取网站内容，可能会被认定为违背商业道德，构成不正当竞争。但Robots协议解决前置性问题，即抓取行为是否得当，而不解决抓取之后数据使用是否得当的问题。
他进一步分析，法院在个案件判决中倾向于认为爬虫技术是具有中立属性，并尊重网站对于Robots协议设置方式。如果爬取者违背Robots协议进行强行抓取，在正当性评判上可能给予一定的负面评价。此外Robots协议和行为正当性有关联，但不是唯一对立性——即使符合Robots协议抓取，也可能因为后期使用行为被判定为不正当性。
值得一提的是，网络爬虫者对爬取行为进行抗辩时，经常将Robots协议限制爬取与数据流转联系起来。
徐弘韬认为，在“互联互通”的语境下，“有序”和“流转”同等重要。这需要把握“互联互通”与数据共享之间的度的问题，同时考虑各互联网产业经营者采取的Robots协议策略是否可能导致数据孤岛局面的出现。
判别爬虫行为正当性，需考虑多重因素
研讨会上，华东政法大学教授张勇对数据爬虫的危害行为进行了分类。
他称从数据类型上来看，数据爬取可能侵犯到的权益包括计算机系统安全、个人信息、版权、国家秘密、商业秘密、市场竞争秩序等；从爬取方式来看，数据爬取可能危害到计算机信息系统安全、非法获取公民个人信息、非法获取商业秘密、破坏版权技术保护措施等；从爬取结果来看，则存在不正当竞争类、侵犯著作权类、侵犯人格权类等问题。
当数据成为一种生产要素，数据抓取技术应用场景日益广泛，随着而来的争议纠纷也不断增多。如何判别爬虫行为的正当性，从已有的判例中或能找到一些答案。
今年9月14日，杭州互联网法院公布一起爬取微信公众号平台数据的不正当竞争案件，判决被告停止数据抓取行为，并赔偿微信损失60万元。
法院审理认为，被告违背诚实信用原则，擅自使用原告征得用户同意、依法汇集且具有商业价值的数据，并足以实质性替代其他经营者提供的部分产品或服务，损害公平竞争的市场秩序，构成不正当竞争。
在本案中，法院还从“三元目标叠加”的角度分析了爬取行为是否具有正当性。
徐弘韬以此为例提到，对于非搜索引擎爬虫的正当性判别，主要看被告是否尊重被抓取网站预设的Robots协议、是否破坏被抓取网站的技术措施、是否足以保障用户数据的安全性，以及衡量创造性与公共利益。
他指出，如果以危害用户数据安全性为代价抓取数据，且爬虫技术应用无法创造新的优质资源，仅仅是加重他人服务器负担，那么很可能在行为正当性上被给予负面评价。
网络爬虫（蜘蛛）有什么危害，若自己做网站是否要防止网络爬虫？
一般情况我们都是喜欢让蜘蛛过来爬网站的，这样可以让网站更利收录，更新快照的，一般的网站是不会遇到被蜘蛛爬行次数过来而导致服务器不稳定的，我们现在很多做优化的，都是在想尽办法让蜘蛛过来爬行的哦！ 嘉兴七彩光电科技有限公司--SEO部 小李，希望可以帮到您哦！
0条大神的评论