java获取网页源码的问题
发布网友
发布时间：2022-05-01 23:09
共3个回答
热心网友
时间：2022-06-24 19:41
1.HttpURLConnection.getContentType();直接读取，效率高，但有很多时候读不到。只是text/html就完事了，没有charset.
2.使用第三方的HttpClient,执行效率较高。但读取网页头header也只适用部分站，很多网站服务段不设置，结果就读成了null.
3.最没有效率的判断方法就是使用inputStreamReader先把正页的html源码读取出来，之后截取charset后面编码。得到编码之后重新再读取一遍。但是效率很低。
做个总结：
/**
* 取得页面编码
*
* @param url
* @return
*/
public String getCharset(String url) throws Exception {
// log.info("进入读页面的关键词:" + keyword);
String charset = "";
int c;
HttpURLConnection httpurlcon = null;
// log.info("url:"+url);
// log.info("charset:"+charset);
log.info("url:" + url);
URL httpurl = new URL(url);
// System.out.println(url+str);
httpurlcon = (HttpURLConnection) httpurl.openConnection();
// google需要身份
httpurlcon.setRequestProperty("User-agent", "Mozilla/4.0");
charset = httpurlcon.getContentType();
log.info("charset1:" + charset);
// 如果可以找到
if (charset.indexOf("charset=") != -1)
charset = charset.substring(charset.indexOf("charset=")
+ "charset=".length(), charset.length());
// 否则读取response.Header头
else {
charset = this.getContentCharset();
log.info("charset2:" + charset);
}
// 如果charset还是为空,那么直接读网页来截取
if (charset == null) {
charset = this.readPageCharset(url);
log.info("charset31:" + charset);
}
return charset;
}追问我其实想知道如何获取网页的源文件，注意是源文件而不是源码
热心网友
时间：2022-06-24 19:42
热心网友
时间：2022-06-24 19:43
