在C#中获取网页内容和HTTP状态代码

前端之家收集整理的这篇文章主要介绍了在C#中获取网页内容和HTTP状态代码前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
在C# Windows窗体应用程序中,我可以使用以下命令获取网页的内容
  1. string content = webClient.DownloadString(url);

我可以使用以下方式获取HTTP标头:

  1. HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
  2. request.Method = "GET";
  3. string response = ((HttpWebResponse)request.GetResponse()).StatusCode.ToString();

有没有办法在一次访问服务器而不是两次获取内容和HTTP状态代码(如果失败)?

谢谢.

解决方法

您可以在HttpWebResponse对象中读取Stream中的数据:
  1. HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
  2. request.Method = "GET";
  3. using (var response = request.GetResponse())
  4. using (var stream = response.GetResponseStream())
  5. using (var reader = new StreamReader(stream))
  6. {
  7. HttpStatusCode statusCode = ((HttpWebResponse)response).StatusCode;
  8. string contents = reader.ReadToEnd();
  9. }

通过这种方式,您必须手动检测编码,或使用库来检测编码.您可以从HttpWebResponse对象中读取编码作为字符串,如果存在,则它位于ContentType属性中.如果页面是Html,那么您将不得不解析它以在文档顶部或头部内部进行可能的编码更改.

从ContentType标头读取处理编码

  1. var request = (HttpWebRequest)WebRequest.Create(url);
  2. request.Method = "GET";
  3. string content;
  4. HttpStatusCode statusCode;
  5. using (var response = request.GetResponse())
  6. using (var stream = response.GetResponseStream())
  7. {
  8. var contentType = response.ContentType;
  9. Encoding encoding = null;
  10. if (contentType != null)
  11. {
  12. var match = Regex.Match(contentType,@"(?<=charset\=).*");
  13. if (match.Success)
  14. encoding = Encoding.GetEncoding(match.ToString());
  15. }
  16.  
  17. encoding = encoding ?? Encoding.UTF8;
  18.  
  19. statusCode = ((HttpWebResponse)response).StatusCode;
  20. using (var reader = new StreamReader(stream,encoding))
  21. content = reader.ReadToEnd();
  22. }

猜你在找的C#相关文章