正则表达式相关：C# 抓取网页类（获取网页中所有信息）

正则表达式 前端之家
前端之家收集整理的这篇文章主要介绍了正则表达式相关：C# 抓取网页类（获取网页中所有信息），前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
  1. usingSystem;
  2. usingSystem.Data;
  3. usingSystem.Configuration;
  4. usingSystem.Net;
  5. usingSystem.IO;
  6. usingSystem.Text;
  7. usingSystem.Collections.Generic;
  8. usingSystem.Text.RegularExpressions;
  9. usingSystem.Threading;
  10. usingSystem.Web;
  11. usingSystem.Web.UI.MobileControls;
  12. ///<summary>
  13. ///网页类
  14. ///</summary>
  15. publicclassWebPage
  16. {
  17. #region私有成员
  18. privateUrim_uri;//url
  19. privateList<Link>m_links;//此网页上的链接
  20. privatestringm_title;//标题
  21. privatestringm_html;//HTML代码
  22. privatestringm_outstr;//网页可输出的纯文本
  23. privateboolm_good;//网页是否可用
  24. privateintm_pagesize;//网页的大小
  25. privatestaticDictionary<string,CookieContainer>webcookies=newDictionary<string,CookieContainer>();//存放所有网页的Cookie
  27. #endregion
  28. #region属性
  30. ///<summary>
  31. ///通过此属性可获得本网页的网址，只读
  32. ///</summary>
  33. publicstringURL
  34. {
  35. get
  36. returnm_uri.AbsoluteUri;
  37. }
  38. }
  40. ///通过此属性可获得本网页的标题，只读
  41. publicstringTitle
  42. get
  43. if(m_title=="")
  44. Regexreg=newRegex(@"(?m)<title[^>]*>(?<title>(?:\w|\W)*?)</title[^>]*>",RegexOptions.Multiline|RegexOptions.IgnoreCase);
  45. Matchmc=reg.Match(m_html);
  46. if(mc.Success)
  47. m_title=mc.Groups["title"].Value.Trim();
  48. returnm_title;
  49. publicstringM_html
  50. if(m_html==null)
  51. m_html="";
  52. returnm_html;
  53. ///此属性获得本网页的所有链接信息，只读
  54. publicList<Link>Links
  55. if(m_links.Count==0)getLinks();
  56. returnm_links;
  57. ///此属性返回本网页的全部纯文本信息，只读
  58. publicstringContext
  59. if(m_outstr=="")getContext(Int16.MaxValue);
  60. returnm_outstr;
  61. ///此属性获得本网页的大小
  62. publicintPageSize
  63. returnm_pagesize;
  64. ///此属性获得本网页的所有站内链接
  65. publicList<Link>InsiteLinks
  66. returngetSpecialLinksByUrl("^http://"+m_uri.Host,Int16.MaxValue);
  67. ///此属性表示本网页是否可用
  68. publicboolIsGood
  69. returnm_good;
  70. ///此属性表示网页的所在的网站
  71. publicstringHost
  72. returnm_uri.Host;
  73. #endregion
  74. ///从HTML代码中分析出链接信息
  75. ///<returns>List<Link></returns>
  76. privateList<Link>getLinks()
  77. if(m_links.Count==0)
  78. Regex[]regex=newRegex[2];
  79. regex[0]=newRegex(@"<a\shref\s*=""(?<URL>[^""]*).*?>(?<title>[^<]*)</a>",RegexOptions.IgnoreCase|RegexOptions.Singleline);
  80. regex[1]=newRegex("<[i]*frame[^><]+src=(\"|')?(?<url>([^>\"'\\s)])+)(\"|')?[^>]*>",RegexOptions.IgnoreCase);
  81. for(inti=0;i<2;i++)
  82. Matchmatch=regex[i].Match(m_html);
  83. while(match.Success)
  84. try
  85. stringurl=HttpUtility.UrlDecode(newUri(m_uri,match.Groups["URL"].Value).AbsoluteUri);
  86. stringtext="";
  87. if(i==0)text=newRegex("(<[^>]+>)|(\\s)|()|&|\"",RegexOptions.Multiline|RegexOptions.IgnoreCase).Replace(match.Groups["text"].Value,"");
  88. Linklink=newLink();
  89. link.Text=text;
  90. link.NavigateUrl=url;
  91. m_links.Add(link);
  92. catch(Exceptionex){Console.WriteLine(ex.Message);};
  93. match=match.NextMatch();
  94. ///此私有方法从一段HTML文本中提取出一定字数的纯文本
  95. ///<paramname="instr">HTML代码</param>
  96. ///<paramname="firstN">提取从头数多少个字</param>
  97. ///<paramname="withLink">是否要链接里面的字</param>
  98. ///<returns>纯文本</returns>
  99. privatestringgetFirstNchar(stringinstr,intfirstN,boolwithLink)
  100. if(m_outstr=="")
  101. m_outstr=instr.Clone()asstring;
  102. m_outstr=newRegex(@"(?m)<script[^>]*>(\w|\W)*?</script[^>]*>",RegexOptions.Multiline|RegexOptions.IgnoreCase).Replace(m_outstr,"");
  103. m_outstr=newRegex(@"(?m)<style[^>]*>(\w|\W)*?</style[^>]*>",85); line-height:18px"> m_outstr=newRegex(@"(?m)<select[^>]*>(\w|\W)*?</select[^>]*>",153); list-style:decimal-leading-zero outside; color:inherit; line-height:18px"> if(!withLink)m_outstr=newRegex(@"(?m)<a[^>]*>(\w|\W)*?</a[^>]*>",85); line-height:18px"> RegexobjReg=newSystem.Text.RegularExpressions.Regex("(<[^>]+?>)|",RegexOptions.Multiline|RegexOptions.IgnoreCase);
  104. m_outstr=objReg.Replace(m_outstr,"");
  105. RegexobjReg2=newSystem.Text.RegularExpressions.Regex("(\\s)+",153); list-style:decimal-leading-zero outside; color:inherit; line-height:18px"> m_outstr=objReg2.Replace(m_outstr,85); line-height:18px"> returnm_outstr.Length>firstN?m_outstr.Substring(0,firstN):m_outstr;
  107. #region公有文法
  108. ///此公有方法提取网页中一定字数的纯文本，包括链接文字
  109. ///<paramname="firstN">字数</param>
  110. ///<returns></returns>
  111. publicstringgetContext(intfirstN)
  112. returngetFirstNchar(m_html,firstN,true);
  113. ///此公有方法从本网页的链接中提取一定数量的链接，该链接的URL满足某正则式
  114. ///<paramname="pattern">正则式</param>
  115. ///<paramname="count">返回的链接的个数</param>
  116. publicList<Link>getSpecialLinksByUrl(stringpattern,intcount)
  117. List<Link>SpecialLinks=newList<Link>();
  118. List<Link>.Enumeratori;
  119. i=m_links.GetEnumerator();
  120. intcnt=0;
  121. while(i.MoveNext()&&cnt<count)
  122. if(newRegex(pattern,RegexOptions.Multiline|RegexOptions.IgnoreCase).Match(i.Current.NavigateUrl).Success)
  123. SpecialLinks.Add(i.Current);
  124. cnt++;
  125. returnSpecialLinks;
  126. ///此公有方法从本网页的链接中提取一定数量的链接，该链接的文字满足某正则式
  127. publicList<Link>getSpecialLinksByText(stringpattern,RegexOptions.Multiline|RegexOptions.IgnoreCase).Match(i.Current.Text).Success)
  128. ///这公有方法提取本网页的纯文本中满足某正则式的文字
  129. ///<returns>返回文字</returns>
  130. publicstringgetSpecialWords(stringpattern)
  131. Regexregex=newRegex(pattern,85); line-height:18px"> Matchmc=regex.Match(m_outstr);
  132. returnmc.Groups[1].Value;
  133. returnstring.Empty;
  134. #region构造函数
  135. privatevoidInit(string_url)
  136. try
  137. m_uri=newUri(_url);
  138. m_links=newList<Link>();
  139. m_outstr="";
  140. m_title="";
  141. m_good=true;
  142. if(_url.EndsWith(".rar")||_url.EndsWith(".dat")||_url.EndsWith(".msi"))
  143. m_good=false;
  144. return;
  145. HttpWebRequestrqst=(HttpWebRequest)WebRequest.Create(m_uri);
  146. rqst.AllowAutoRedirect=true;
  147. rqst.MaximumAutomaticRedirections=3;
  148. rqst.UserAgent="Mozilla/4.0(compatible;MSIE5.01;WindowsNT5.0)";
  149. rqst.KeepAlive=true;
  150. rqst.Timeout=10000;
  151. lock(WebPage.webcookies)
  152. if(WebPage.webcookies.ContainsKey(m_uri.Host))
  153. rqst.CookieContainer=WebPage.webcookies[m_uri.Host];
  154. else
  155. CookieContainercc=newCookieContainer();
  156. WebPage.webcookies[m_uri.Host]=cc;
  157. rqst.CookieContainer=cc;
  158. HttpWebResponsersps=(HttpWebResponse)rqst.GetResponse();
  159. Streamsm=rsps.GetResponseStream();
  160. if(!rsps.ContentType.ToLower().StartsWith("text/")||rsps.ContentLength>1<<22)
  161. rsps.Close();
  162. m_good=false;
  163. return;
  164. Encodingcding=System.Text.Encoding.Default;
  165. stringcontenttype=rsps.ContentType.ToLower();
  166. intix=contenttype.IndexOf("charset=");
  167. if(ix!=-1)
  168. cding=System.Text.Encoding.GetEncoding(rsps.ContentType.Substring(ix+"charset".Length+1));
  169. catch
  170. cding=Encoding.Default;
  171. //该处视情况而定有的需要解码
  172. //m_html=HttpUtility.HtmlDecode(newStreamReader(sm,cding).ReadToEnd());
  173. m_html=newStreamReader(sm,cding).ReadToEnd();
  174. //该处视情况而定有的需要解码
  176. Regexregex=newRegex("charset=(?<cding>[^=]+)?\"",RegexOptions.IgnoreCase);
  177. stringstrcding=regex.Match(m_html).Groups["cding"].Value;
  178. cding=Encoding.GetEncoding(strcding);
  179. byte[]bytes=Encoding.Default.GetBytes(m_html.tocharArray());
  180. m_html=cding.GetString(bytes);
  181. if(m_html.Split('?').Length>100)
  182. m_html=Encoding.Default.GetString(bytes);
  183. m_pagesize=m_html.Length;
  184. m_uri=rsps.ResponseUri;
  185. catch(Exceptionex)
  186. publicWebPage(string_url)
  187. stringuurl="";
  188. uurl=Uri.UnescapeDataString(_url);
  189. _url=uurl;
  190. catch{};
  191. Init(_url);
  192. }

调用

[csharp] view plain copy
print ?
    WebPagewebInfo=newWebPage("网址");
  1. webInfo.Context;//不包含html标签的所有内容
  2. webInfo.M_html;//包含html标签的内容
  3. ...参考属性

猜你在找的正则表达式相关文章

常用正则表达式-手机号、身份证、邮箱
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^d{n}$ 3 至少n位的数字：^d{n,}$ 4...
JS正则表达式详解
正则表达式非常有用，查找、匹配、处理字符串、替换和转换字符串，输入输出等。下面整理一...
组内正则培训记录
0. 注： 不同语言中的正则表达式实现都会有一些不同。下文中的代码示例除特别说明的外，都...
高级正则表达式技术（Python版）
 正则表达式是从信息中搜索特定的模式的一把瑞士军刀。它们是一个巨大的工具库，其中的...
史上最全最常用的正则表达式
一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,...
正则表达式工具
正则表达式初步
分享5个可视化的正则表达式编辑工具
　　正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编...
分享5个可视化的正则表达式编辑工具
正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器...
[知识积累]--正则表达式记忆表
在工作中常常遇到正则表达式问题，有时候又会忘记这则的语法。 下面就分享一份正则表达式记...
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript