正则表达式，网页爬虫

正则表达式 前端之家
前端之家收集整理的这篇文章主要介绍了正则表达式，网页爬虫，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
  1. package cn.itcast.regex.demo;
  2.  
  3.  
  4. /*
  5.  * 正则表达式。
  6.  * 
  7.  * 正则表达式用于操作字符串数据。
  8.  * 通过一些特定的符号来体现的。
  9.  * 所以我们为了掌握正则表达式，必须要学习一些符号。
  10.  * 
  11.  * 虽然简化了，但是阅读性差。 
  12.  *  
  13.  * 
  14.  * 
  15.  */
  16. public class RegexDemo {
  17.  
  18. 	/**
  19. 	 * @param args
  20. 	 */
  21. 	public static void main(String[] args) {
  22.  
  23. 		
  24. 		String qq = "123k4567";
  25. //		checkQQ(qq);
  26. 		
  27. 		String regex = "[1-9][0-9]{4,14}";//正则表达式。
  28. 		
  29. //		boolean b = qq.matches(regex);		
  30. //		System.out.println(qq+":"+b);
  31. 		
  32. 		
  33. //		String str = "aoooooooob";
  34. //		String reg = "ao{4,6}b";
  35. //		boolean b = str.matches(reg);
  36. //		System.out.println(str+":"+b);
  37. 		
  38. 		
  39. 	}
  40. 	
  41. 	/*
  42. 	 * 需求：定义一个功能对QQ号进行校验。
  43. 	 * 要求：长度5~15. 只能是数字， 0不能开头
  44. 	 */
  45. 	public static void checkQQ(String qq){
  46. 		
  47. 		int len = qq.length();
  48. 		
  49. 		if(len>=5 && len<=15){
  50. 			
  51. 			if(!qq.startsWith("0")){
  52. 				try {
  53. 				long l = Long.parseLong(qq);
  54. 				
  55. 				System.out.println(l+":正确");
  56. 				}catch(NumberFormatException e){
  57. 					System.out.println(qq+":含有非法字符");
  58. 				}
  59. 				
  60. 			}else{
  61. 				System.out.println(qq+":不能0开头");
  62. 			}
  63. 		}else{
  64. 			System.out.println(qq+":长度错误");
  65. 		}
  66. 		
  67. 		
  68. 		
  69. 	}
  70.  
  71. }


  1. package cn.itcast.regex.demo;
  2.  
  3. import java.util.regex.Matcher;
  4. import java.util.regex.Pattern;
  5.  
  6. public class RegexDemo2 {
  7.  
  8. 	/**
  9. 	 * @param args
  10. 	 */
  11. 	public static void main(String[] args) {
  12.  
  13. 		/*
  14. 		 * 正则表达式对字符串的常见操作:
  15. 		 * 1,匹配。
  16. 		 * 		其实使用的就是String类中的matches方法。
  17. 		 * 
  18. 		 * 2，切割。
  19. 		 * 		其实使用的就是String类中的split方法。 
  20. 		 * 
  21. 		 * 3，替换。
  22. 		 * 		其实使用的就是String类中的replaceAll()方法。
  23. 		 * 
  24. 		 * 4，获取。
  25. 		 * 		
  26. 		 */
  27. 		
  28. 		functionDemo_4();
  29. 	}
  30. 	
  31. 	/*
  32. 	 * 获取 
  33. 	 * 将正则规则进行对象的封装。 
  34. 	 * Pattern p = Pattern.compile("a*b");
  35. 	 *  //通过正则对象的matcher方法字符串相关联。获取要对字符串操作的匹配器对象Matcher .
  36.  	 * Matcher m = p.matcher("aaaaab");
  37.  	 * //通过Matcher匹配器对象的方法对字符串进行操作。
  38.  	 * boolean b = m.matches();
  39. 	 * 
  40. 	 * 
  41. 	 */
  42. 	public  static void functionDemo_4() {
  43. 		
  44. 		String str = "da jia hao,ming tian bu fang jia!";
  45. 		
  46. 		String regex = "\\b[a-z]{3}\\b";
  47. 		
  48. 		//1,将正则封装成对象。
  49. 		Pattern p = Pattern.compile(regex);
  50. 		//2,通过正则对象获取匹配器对象。 
  51. 		Matcher m = p.matcher(str);
  52. 		
  53. 		//使用Matcher对象的方法对字符串进行操作。
  54. 		//既然要获取三个字母组成的单词 
  55. 		//查找。 find();
  56. 		System.out.println(str);
  57. 		while(m.find()){
  58. 			System.out.println(m.group());//获取匹配的子序列
  59. 			
  60. 			System.out.println(m.start()+":"+m.end());
  61. 		}
  62. 	}
  63.  
  64. 	/*
  65. 	 * 替换 
  66. 	 */
  67. 	public static void functionDemo_3() {
  68. 		
  69. 		String str = "zhangsanttttxiaoqiangmmmmmmzhaoliu";
  70. 		
  71. 		str = str.replaceAll("(.)\\1+","$1");
  72. 		
  73. 		System.out.println(str);
  74. 		
  75. 		String tel = "15800001111";//158****1111;
  76. 		
  77. 		tel = tel.replaceAll("(\\d{3})\\d{4}(\\d{4})","$1****$2");
  78. 		
  79. 		System.out.println(tel);
  80. 		
  81. 	}
  82.  
  83. 	/*
  84. 	 * 切割。
  85. 	 * 
  86. 	 * 组：((A)(B(C))) 
  87. 	 */
  88. 	public static void functionDemo_2(){
  89.  
  90. 		String str = "zhangsanttttxiaoqiangmmmmmmzhaoliu";
  91. 		
  92. 		String[] names = str.split("(.)\\1+");//str.split("\\.");
  93. 		
  94. 		for(String name : names){
  95. 			System.out.println(name);
  96. 		}
  97. 		
  98. 	}
  99. 	/*
  100. 	 * 演示匹配。 
  101. 	 */
  102. 	public static void functionDemo_1(){
  103. 	
  104. 		
  105. 		//匹配手机号码是否正确。 
  106. 		String tel = "15800001111";
  107. 		
  108. 		String regex = "1[358]\\d{9}";   
  109. 		
  110. 		boolean b = tel.matches(regex);
  111. 		System.out.println(tel+":"+b);
  112. 	}
  113. 	
  114.  
  115. }



加了一对圆括号的为一组，看作为一组。可以通过美元符合$进行引用。 
  1. package cn.itcast.regex.test;
  2.  
  3. import java.util.TreeSet;
  4.  
  5. public class RegexTest {
  6.  
  7. 	/**
  8. 	 * @param args
  9. 	 */
  10. 	public static void main(String[] args) {
  11.  
  12. 		/*
  13. 		 * 1，治疗口吃:我我...我我...我我我要...要要要要...要要要要..学学学学学...学学编编...编编编编..编..程程...程程...程程程
  14. 		 * 2，对ip地址排序。 
  15. 		 * 3，对邮件地址校验。 
  16. 		 */
  17. 		test_3();
  18. 	}
  19. 	
  20. 	//对邮件地址校验。
  21. 	public static void test_3() {
  22. 		
  23. 		String mail = "abc1@sina.com.cn";
  24. 		
  25. 		String regex = "[a-zA-Z0-9_]+@[a-zA-Z0-9]+(\\.[a-zA-Z]{1,3})+";
  26. 		
  27. 		regex = "\\w+@\\w+(\\.\\w+)+";//1@1.1
  28. 		
  29. 		
  30. 		
  31. 		boolean b = mail.matches(regex);
  32. 		
  33. 		System.out.println(mail+":"+b);
  34. 		
  35. 		
  36. 	}
  37. 	/*
  38. 	 * 1,治口吃。
  39. 	 */
  40. 	public static void test_1(){
  41. 		
  42. 		String str = "我我...我我...我我我要...要要要要...要要要要..学学学学学...学学编编...编编编编..编..程程...程程...程程程";
  43. 		
  44. 		//1，将字符串中.去掉。 用替换。
  45. 		str = str.replaceAll("\\.+","");
  46. 		System.out.println(str);
  47. 		
  48. 		//2,替换叠词。
  49. 		str = str.replaceAll("(.)\\1+","$1");
  50. 		System.out.println(str);
  51. 		
  52. 		
  53. 	}
  54. 	/*
  55. 	 * ip地址排序。 
  56. 	 * 
  57. 	 * 192.168.10.34 127.0.0.1 3.3.3.3  105.70.11.55
  58. 	 */
  59. 	public static void test_2(){
  60. 		
  61. 		String ip_str = "192.168.10.34  127.0.0.1  3.3.3.3  105.70.11.55";
  62. 		
  63. 		
  64. 		//1,为了让ip可以按照字符串顺序比较，只要让ip的每一段的位数相同。
  65. 		//所以，补零，按照每一位所需做多0进行补充。每一段都加两个0.
  66. 		
  67. 		ip_str = ip_str.replaceAll("(\\d+)","00$1");
  68. 		System.out.println(ip_str);
  69. 		
  70. 		//然后每一段保留数字3位。
  71. 		ip_str = ip_str.replaceAll("0*(\\d{3})","$1");
  72. 		System.out.println(ip_str);
  73. 		
  74. 		
  75. 		//1，将ip地址切出。
  76. 		String[] ips = ip_str.split(" +");
  77. 		
  78. 		TreeSet<String> ts = new TreeSet<String>();
  79. 		
  80. 		for(String  ip : ips){
  81. //			System.out.println(ip);
  82. 			ts.add(ip);
  83. 		}
  84. 		
  85. 		for(String ip : ts){
  86. 			System.out.println(ip.replaceAll("0*(\\d+)","$1"));
  87. 		}
  88. 		
  89. 	}
  90.  
  91. }
  92.  
网页爬虫 
  1. package cn.itcast.regex.test;
  2.  
  3. import java.io.BufferedReader;
  4. import java.io.FileReader;
  5. import java.io.IOException;
  6. import java.io.InputStreamReader;
  7. import java.net.URL;
  8. import java.util.ArrayList;
  9. import java.util.List;
  10. import java.util.regex.Matcher;
  11. import java.util.regex.Pattern;
  12.  
  13.  
  14. /*
  15.  * 网页爬虫：其实就一个程序用于在互联网中获取符合指定规则的数据。 
  16.  * 
  17.  * 爬取邮箱地址。 
  18.  * 
  19.  */
  20. public class RegexTest2 {
  21.  
  22. 	/**
  23. 	 * @param args
  24. 	 * @throws IOException 
  25. 	 */
  26. 	public static void main(String[] args) throws IOException {
  27.  
  28. 		
  29. 		List<String> list = getMailsByWeb();
  30. 		
  31. 		for(String mail : list){
  32. 			System.out.println(mail);
  33. 		}
  34. 	}
  35. 	
  36. 	public static List<String> getMailsByWeb() throws IOException {
  37. 		
  38. 		//1,读取源文件。
  39. //				BufferedReader bufr = new BufferedReader(new FileReader("c:\\mail.html"));
  40. 		
  41. 		URL url = new URL("http://192.168.1.100:8080/myweb/mail.html");
  42. 		
  43. 		BufferedReader bufIn = new BufferedReader(new InputStreamReader(url.openStream()));
  44. 				
  45. 		//2,对读取的数据进行规则的匹配。从中获取符合规则的数据.
  46. 		String mail_regex = "\\w+@\\w+(\\.\\w+)+";
  47. 		
  48. 		List<String> list = new ArrayList<String>();
  49. 		
  50. 		
  51. 		Pattern p = Pattern.compile(mail_regex);
  52. 		
  53. 		String line = null;
  54. 		
  55. 		while((line=bufIn.readLine())!=null){
  56. 			
  57. 			Matcher m = p.matcher(line);
  58. 			while(m.find()){
  59. 				//3,将符合规则的数据存储到集合中。
  60. 				list.add(m.group());
  61. 			}
  62. 			
  63. 		}
  64. 		return list;
  65. 	}
  66.  
  67. 	public static List<String>  getMails() throws IOException{
  68. 		
  69. 		//1,读取源文件。
  70. 		BufferedReader bufr = new BufferedReader(new FileReader("c:\\mail.html"));
  71. 		
  72. 		//2,对读取的数据进行规则的匹配。从中获取符合规则的数据.
  73. 		String mail_regex = "\\w+@\\w+(\\.\\w+)+";
  74. 		
  75. 		List<String> list = new ArrayList<String>();
  76. 		
  77. 		
  78. 		Pattern p = Pattern.compile(mail_regex);
  79. 		
  80. 		String line = null;
  81. 		
  82. 		while((line=bufr.readLine())!=null){
  83. 			
  84. 			Matcher m = p.matcher(line);
  85. 			while(m.find()){
  86. 				//3,将符合规则的数据存储到集合中。
  87. 				list.add(m.group());
  88. 			}
  89. 			
  90. 		}
  91. 		return list;
  92. 		
  93. 	}
  94.  
  95. }

猜你在找的正则表达式相关文章

常用正则表达式-手机号、身份证、邮箱
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^d{n}$ 3 至少n位的数字：^d{n,}$ 4...
JS正则表达式详解
正则表达式非常有用，查找、匹配、处理字符串、替换和转换字符串，输入输出等。下面整理一...
组内正则培训记录
0. 注： 不同语言中的正则表达式实现都会有一些不同。下文中的代码示例除特别说明的外，都...
高级正则表达式技术（Python版）
 正则表达式是从信息中搜索特定的模式的一把瑞士军刀。它们是一个巨大的工具库，其中的...
史上最全最常用的正则表达式
一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,...
正则表达式工具
正则表达式初步
分享5个可视化的正则表达式编辑工具
　　正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编...
分享5个可视化的正则表达式编辑工具
正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器...
[知识积累]--正则表达式记忆表
在工作中常常遇到正则表达式问题，有时候又会忘记这则的语法。 下面就分享一份正则表达式记...
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript