学员作品 学员心得技术园地 潮人地 Android(安卓)培训 杭州电脑(计算机)培训 杭州网络营销培训 杭州JAVA培训
返回首页
当前位置: 主页 > 学员天地 > 技术园地 >

java使用HttpURLConnection检索网站时403错误处理方式

时间:2014-11-06 22:23来源:csdn 作者:Sunlight_Rzg 点击:
java使用HttpURLConnection检索网站时403错误处理方式 java使用HttpURLConnection检索网站时403错误处理方式: 我们通过代码方式访问网站时会报错:

 java使用HttpURLConnection检索网站时403错误处理方式

 

java使用HttpURLConnection检索网站时403错误处理方式:

我们通过代码方式访问网站时会报错:


 


 

此种情况分2中类型,

1.需要登录才可以访问;

2.需要设置User-Agent来欺骗服务器。

  1. connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");  

 

User Agent说明:
 

User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。  

一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面,因此可能造成某些页面无法在某个浏览器中正常显示,但通过伪装 UA 可以绕过检测。
 

java访问网站代码:

  1.     /** 
  2.      *  发起http get请求获取网页源代码  
  3.      * @param requestUrl 
  4.      * @param isUserAgent 是否设置欺骗服务器 
  5.      * @return 
  6.      */  
  7.        
  8.     public static String httpRequest(String requestUrl,boolean isUserAgent) {    
  9.         StringBuffer buffer = null;    
  10.     
  11.         try {    
  12.             // 建立连接    
  13.             URL url = new URL(requestUrl);    
  14.             HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();    
  15.             httpUrlConn.setDoInput(true);    
  16.             httpUrlConn.setRequestMethod("GET");    
  17.             if(isUserAgent){  
  18.                 httpUrlConn.setRequestProperty("User-Agent""Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");  
  19.             }  
  20.             // 获取输入流    
  21.             InputStream inputStream = httpUrlConn.getInputStream();    
  22.             InputStreamReader inputStreamReader = new InputStreamReader(inputStream, "utf-8");    
  23.             BufferedReader bufferedReader = new BufferedReader(inputStreamReader);    
  24.     
  25.             // 读取返回结果    
  26.             buffer = new StringBuffer();    
  27.             String str = null;    
  28.             while ((str = bufferedReader.readLine()) != null) {    
  29.                 buffer.append(str);    
  30.             }    
  31.         } catch (Exception e) {    
  32.             e.printStackTrace();    
  33.         }finally{  
  34. <pre name="code" class="java">            // 释放资源    
  35.             bufferedReader.close();    
  36.             inputStreamReader.close();    
  37.             inputStream.close();    
  38.             httpUrlConn.disconnect();    

        } return buffer.toString(); }

 


执行结果:顺利获取到网页代码。

 


 


 

(责任编辑:杭州华育 ;杭州java培训,网络营销培训,杭州计算机培训,it培训,详询客服报名咨询
分享到:
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
提交报名信息

2017年杭州将加大力度经济转型,吸纳更多的技术人才落户杭州,软件人才需求量更是大幅提升,针对目前杭州IT行业人才需求“井喷”现象,华育软件杭州实训基地与杭州155家IT名企合作,建立人才培养与输送关系,启动“Eduask国家高端IT紧缺人才培养工程”。7月针对杭州地区18-28岁大中专生待业青年发放68个技能实训名额(应届大中专毕业生优先),经短期专业岗前实训后推荐进入企业,起薪4500-8000元,五险一金。

姓名: * 性别:
学历: 电话: *
所在地: *
您目前状况:
留言:
*