一種解決HTTP抓取網頁超時設置無效的方法

今天發現superword在獲取單詞定義的時候，對於不常見單詞，網頁打開很慢，超過10秒，經檢查，發現是利用Jsoup來抓取單詞定義的時候，設置的超時3秒無效，_getContent方法的執行時間超過10秒，代碼如下：

public static String getContent(String url) {
String html = _getContent(url);
int times = 0;
while(StringUtils.isNotBlank(html) && html.contains("非常抱歉，來自您ip的請求異常頻繁")){
//使用新的IP地址
ProxyIp.toNewIp;
html = _getContent(url);
if(++times > 2){
break;
}
}
return html;
}

private static String _getContent(String url) {
Connection conn = Jsoup.connect(url)
.header("Accept", ACCEPT)
.header("Accept-Encoding", ENCODING)
.header("Accept-Language", LANGUAGE)
.header("Connection", CONNECTION)
.header("Referer", REFERER)
.header("Host", HOST)
.header("User-Agent", USER_AGENT)
.timeout(3000)
.ignoreContentType(true);
String html = "";
try {
html = conn.post.html;
html = html.replaceAll("[

]", "");
}catch (Exception e){
LOGGER.error("獲取URL：" + url + "頁面出錯", e);
}
return html;
}

所以想了一個辦法來解決這個問題，核心思想是主線程啟動一個子線程來抓取單詞定義，然後主線程休眠指定的超時時間，當超時時間過去後，從子線程獲取抓取結果，這個時候如果子線程抓取還未完成，則主線程返回空的單詞定義，代碼如下：

public static String getContent(String url) {
long start = System.currentTimeMillis;
String html = _getContent(url, 1000);
LOGGER.info("獲取拼音耗時: {}", TimeUtils.getTimeDes(System.currentTimeMillis-start));
int times = 0;
while(StringUtils.isNotBlank(html) && html.contains("非常抱歉，來自您ip的請求異常頻繁")){
//使用新的IP地址
ProxyIp.toNewIp;
html = _getContent(url);
if(++times > 2){
break;
}
}
return html;
}

private static String _getContent(String url, int timeout) {
Future future = ThreadPool.EXECUTOR_SERVICE.submit(->_getContent(url));
try {
Thread.sleep(timeout);
return future.get(1, TimeUnit.NANOSECONDS);
} catch (Throwable e) {
LOGGER.error("獲取網頁異常", e);
}
return "";
}

private static String _getContent(String url) {
Connection conn = Jsoup.connect(url)
.header("Accept", ACCEPT)
.header("Accept-Encoding", ENCODING)
.header("Accept-Language", LANGUAGE)
.header("Connection", CONNECTION)
.header("Referer", REFERER)
.header("Host", HOST)
.header("User-Agent", USER_AGENT)
.timeout(1000)
.ignoreContentType(true);
String html = "";
try {
html = conn.post.html;
html = html.replaceAll("[

]", "");
}catch (Exception e){
LOGGER.error("獲取URL：" + url + "頁面出錯", e);
}
return html;
}

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！