爬虫技术原来可以做这么多牛逼哄哄的事情!
发布网友
发布时间：2024-08-20 01:10
共1个回答
热心网友
时间：2024-08-26 00:00
公司有15k员工，办公系统的hr模块，只要有部门级的管理人员权限就可以看自己部门的几百名员工资料，包括历年历月的工资条和具体个人信息。关键是，网页地址上有员工编号，如果改一下编号理论上就可以看到部门之外的任意员工资料，包括老总的(老总的编号很普通，并不是想当然的100001)。如果搞个爬虫，想泡妞的人估计就有福气了，呵呵。
2011年夏天，我在google实习的时候做了一些Twitter数据相关的开发，之后我看到了一篇关于利用Twitter上人的心情来预测股市的论文。实习结束后，我跟几个朋友一起商量，看看能不能一起做做Twitter的数据挖掘。于是写了个爬虫玩玩，让Wimbledon意想不到的是，最后开发了两年多，抓取了7一千多用户的400亿条tweet。
2.分析网站用户，预测美女
爬了某网站12万用户的头像，把长得像的头像放在一起。然后搜集了知友们的点击，预测出来这是你们(平均)最喜欢的人长的样子。然后根据点击数据训练出来了一个带逛机器人，可以自动识别美女。
爬虫技术可以抓取到淘宝天猫京东订单页的数据，不过你需要具备特别的抓取技巧，这其中，最难的是如何绕过或者说击败淘宝和京东的安全策略以及反爬虫策略!而且淘宝和京东貌似迭代很快，三五天就一个新版本。需要持续维护这个爬虫。总之，只要你的爬虫够人性化就可以。没有抓不到的数据，只有不努力的爬虫，不过需要注意的是，，淘宝京东这种都是有专门的反爬虫部门的。
3.网络爬虫技术在商业银行的应用
对商业银行而言，网络爬虫技术的应用将助力商业银行实现四个“最了解”，即“最了解自身的银行”、“最了解客户的银行”、“最了解竞争对手的银行”和“最了解经营环境的银行”，具体应用场景如下。包括网络舆情监测、客户全景画像、竞争对手分析、行业垂直搜索。
其中客户全景画像指的是网络爬虫系统对客户相关信息进行实时采集、监测、更新，不仅可以更全面地了解客户实时情况，而且可以对客户的潜在营销商机和信用风险进行预判，有效提升客户营销和贷后风险管理效率，提升商业银行综合效益，形成银行与客户共赢的局面。
4.用“爬虫”技术窃小说供人阅览
有这样一个案例，用“爬虫”技术，福建籍任晓锦等5人事先把多个小说网站的链接存在服务器上，当手机用户登录APP，搜索相关小说时，搜索需求就会迅速反馈到服务端，并通过软件“抓取”小说网站的数据传送到客户端，供用户阅读或下载。不用花费一分钱版权费，任晓锦等非法获取各类小说达5000部以上。不过利用“爬虫”技术窃小说供人阅览，这是违法行为，最终这5人被绳之于法。鉴于此种行为危害较大，各位程序员还是且行且珍惜。
热心网友
时间：2024-09-01 07:32
公司有15k员工，办公系统的hr模块，只要有部门级的管理人员权限就可以看自己部门的几百名员工资料，包括历年历月的工资条和具体个人信息。关键是，网页地址上有员工编号，如果改一下编号理论上就可以看到部门之外的任意员工资料，包括老总的(老总的编号很普通，并不是想当然的100001)。如果搞个爬虫，想泡妞的人估计就有福气了，呵呵。
2011年夏天，我在google实习的时候做了一些Twitter数据相关的开发，之后我看到了一篇关于利用Twitter上人的心情来预测股市的论文。实习结束后，我跟几个朋友一起商量，看看能不能一起做做Twitter的数据挖掘。于是写了个爬虫玩玩，让Wimbledon意想不到的是，最后开发了两年多，抓取了7一千多用户的400亿条tweet。
2.分析网站用户，预测美女
爬了某网站12万用户的头像，把长得像的头像放在一起。然后搜集了知友们的点击，预测出来这是你们(平均)最喜欢的人长的样子。然后根据点击数据训练出来了一个带逛机器人，可以自动识别美女。
爬虫技术可以抓取到淘宝天猫京东订单页的数据，不过你需要具备特别的抓取技巧，这其中，最难的是如何绕过或者说击败淘宝和京东的安全策略以及反爬虫策略!而且淘宝和京东貌似迭代很快，三五天就一个新版本。需要持续维护这个爬虫。总之，只要你的爬虫够人性化就可以。没有抓不到的数据，只有不努力的爬虫，不过需要注意的是，，淘宝京东这种都是有专门的反爬虫部门的。
3.网络爬虫技术在商业银行的应用
对商业银行而言，网络爬虫技术的应用将助力商业银行实现四个“最了解”，即“最了解自身的银行”、“最了解客户的银行”、“最了解竞争对手的银行”和“最了解经营环境的银行”，具体应用场景如下。包括网络舆情监测、客户全景画像、竞争对手分析、行业垂直搜索。
其中客户全景画像指的是网络爬虫系统对客户相关信息进行实时采集、监测、更新，不仅可以更全面地了解客户实时情况，而且可以对客户的潜在营销商机和信用风险进行预判，有效提升客户营销和贷后风险管理效率，提升商业银行综合效益，形成银行与客户共赢的局面。
4.用“爬虫”技术窃小说供人阅览
有这样一个案例，用“爬虫”技术，福建籍任晓锦等5人事先把多个小说网站的链接存在服务器上，当手机用户登录APP，搜索相关小说时，搜索需求就会迅速反馈到服务端，并通过软件“抓取”小说网站的数据传送到客户端，供用户阅读或下载。不用花费一分钱版权费，任晓锦等非法获取各类小说达5000部以上。不过利用“爬虫”技术窃小说供人阅览，这是违法行为，最终这5人被绳之于法。鉴于此种行为危害较大，各位程序员还是且行且珍惜。
