如何采集javascript 生成的网页

发布网友发布时间：2022-04-27 08:07

共4个回答

热心网友时间：2022-04-18 11:12

爬虫是不能获取JS执行的代码的，所有的爬虫也都不会获取这些代码，这就是Ajax不利至Seo的地方。
如你想获取只有单独请求Ajax返回结果，因为Http本身是不会执行js的，执行JS的浏览器。你就是等上10年也不会有结果的，你说的过10秒之后的网页内容。那是在浏览器里可以看到。Http里是只有Html源代码的。不会有JS执行。
或者可以使用 webBrowser

热心网友时间：2022-04-18 12:30

phantomjs和casperjs
Casperjs是基于Phantomjs的，而Phantom JS是一个服务器端的 JavaScript API 的 WebKit
可以做到采集javascript 生成的网页
当然你也可以去分析js然后直接通过接口获取网页的数据。

热心网友时间：2022-04-18 14:05

是要下载页面还是通过程序批量抓取。
js本身是不行的，无论什么生成的页面 js都不能采集，就只能通过后台的语言抓取。要下载页面还是直接用浏览器比较方便。

热心网友时间：2022-04-18 15:56

store 在ext里叫数据存储器，你上面写的太繁复，ext提供高级store 首先你要弄清楚这个过程： store 的load函数会触发数据存储器根据httpProxy设定的url去请求数据，请求回来的数据，要用数据读取器Reader对象