一.基本的判断原则，爬虫抓取数据是否侵犯了他人的合法权益。
爬虫技术是中立的，但是如果侵犯了他人的合法权益，则构成侵权甚至犯罪。例如，如果爬取数据的目的影响其他经营者(不一定为竞争对手)的正常经营、实质性替代其他经营者的产品或服务、损害其他经营者和消费者的合法权益、扰乱市场公平竞争秩序等违反诚实信用和商业道德的行为。
二.能抓取下述公开的数据
1.公共信息，如网络上公开发布的信息，如新闻、文章、博客、论坛帖子等，可以通过合法的网络爬虫进行访问和收集。可以抓取的还有非个人化数据，如天气数据、股票数据、经济指标等。
2.公开的社交媒体信息，如推文、微博、社交网站上的公共资料等。
3.公开的政府数据，如政府部门公开发布的数据，如政府报告、统计数据、公共数据集等。
4.公开的学术研究数据，如学术期刊、学术数据库等公开发布的学术研究数据，如论文摘要、引用数据、学术成果等。
三. 尊重网站规则
1.遵守robots协议。网络爬虫需要遵循robots协议，这是国际互联网的一种通行规范，它由网站管理员给出，告诉网络爬虫哪些数据是不能抓取的。
2.尊重网站的服务协议和隐私政策，这些是网站经营者和用户的正式协议，如果在这些协议中，网站/权利人禁止网络爬取行为，他人仍然爬取数据，显然构成侵权。返回搜狐，查看更多