正则表达式，网页爬虫

正则表达式 前端之家
前端之家收集整理的这篇文章主要介绍了正则表达式，网页爬虫，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
package cn.itcast.regex.demo;


/*
 * 正则表达式。
 * 
 * 正则表达式用于操作字符串数据。
 * 通过一些特定的符号来体现的。
 * 所以我们为了掌握正则表达式，必须要学习一些符号。
 * 
 * 虽然简化了，但是阅读性差。 
 *  
 * 
 * 
 */
public class RegexDemo {

	/**
	 * @param args
	 */
	public static void main(String[] args) {

		
		String qq = "123k4567";
//		checkQQ(qq);
		
		String regex = "[1-9][0-9]{4,14}";//正则表达式。
		
//		boolean b = qq.matches(regex);		
//		System.out.println(qq+":"+b);
		
		
//		String str = "aoooooooob";
//		String reg = "ao{4,6}b";
//		boolean b = str.matches(reg);
//		System.out.println(str+":"+b);
		
		
	}
	
	/*
	 * 需求：定义一个功能对QQ号进行校验。
	 * 要求：长度5~15. 只能是数字， 0不能开头
	 */
	public static void checkQQ(String qq){
		
		int len = qq.length();
		
		if(len>=5 && len<=15){
			
			if(!qq.startsWith("0")){
				try {
				long l = Long.parseLong(qq);
				
				System.out.println(l+":正确");
				}catch(NumberFormatException e){
					System.out.println(qq+":含有非法字符");
				}
				
			}else{
				System.out.println(qq+":不能0开头");
			}
		}else{
			System.out.println(qq+":长度错误");
		}
		
		
		
	}

}



package cn.itcast.regex.demo;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class RegexDemo2 {

	/**
	 * @param args
	 */
	public static void main(String[] args) {

		/*
		 * 正则表达式对字符串的常见操作:
		 * 1,匹配。
		 * 		其实使用的就是String类中的matches方法。
		 * 
		 * 2，切割。
		 * 		其实使用的就是String类中的split方法。 
		 * 
		 * 3，替换。
		 * 		其实使用的就是String类中的replaceAll()方法。
		 * 
		 * 4，获取。
		 * 		
		 */
		
		functionDemo_4();
	}
	
	/*
	 * 获取 
	 * 将正则规则进行对象的封装。 
	 * Pattern p = Pattern.compile("a*b");
	 *  //通过正则对象的matcher方法字符串相关联。获取要对字符串操作的匹配器对象Matcher .
 	 * Matcher m = p.matcher("aaaaab");
 	 * //通过Matcher匹配器对象的方法对字符串进行操作。
 	 * boolean b = m.matches();
	 * 
	 * 
	 */
	public  static void functionDemo_4() {
		
		String str = "da jia hao,ming tian bu fang jia!";
		
		String regex = "\\b[a-z]{3}\\b";
		
		//1,将正则封装成对象。
		Pattern p = Pattern.compile(regex);
		//2,通过正则对象获取匹配器对象。 
		Matcher m = p.matcher(str);
		
		//使用Matcher对象的方法对字符串进行操作。
		//既然要获取三个字母组成的单词 
		//查找。 find();
		System.out.println(str);
		while(m.find()){
			System.out.println(m.group());//获取匹配的子序列
			
			System.out.println(m.start()+":"+m.end());
		}
	}

	/*
	 * 替换 
	 */
	public static void functionDemo_3() {
		
		String str = "zhangsanttttxiaoqiangmmmmmmzhaoliu";
		
		str = str.replaceAll("(.)\\1+","$1");
		
		System.out.println(str);
		
		String tel = "15800001111";//158****1111;
		
		tel = tel.replaceAll("(\\d{3})\\d{4}(\\d{4})","$1****$2");
		
		System.out.println(tel);
		
	}

	/*
	 * 切割。
	 * 
	 * 组：((A)(B(C))) 
	 */
	public static void functionDemo_2(){

		String str = "zhangsanttttxiaoqiangmmmmmmzhaoliu";
		
		String[] names = str.split("(.)\\1+");//str.split("\\.");
		
		for(String name : names){
			System.out.println(name);
		}
		
	}
	/*
	 * 演示匹配。 
	 */
	public static void functionDemo_1(){
	
		
		//匹配手机号码是否正确。 
		String tel = "15800001111";
		
		String regex = "1[358]\\d{9}";   
		
		boolean b = tel.matches(regex);
		System.out.println(tel+":"+b);
	}
	

}



加了一对圆括号的为一组，看作为一组。可以通过美元符合$进行引用。 
package cn.itcast.regex.test;

import java.util.TreeSet;

public class RegexTest {

	/**
	 * @param args
	 */
	public static void main(String[] args) {

		/*
		 * 1，治疗口吃:我我...我我...我我我要...要要要要...要要要要..学学学学学...学学编编...编编编编..编..程程...程程...程程程
		 * 2，对ip地址排序。 
		 * 3，对邮件地址校验。 
		 */
		test_3();
	}
	
	//对邮件地址校验。
	public static void test_3() {
		
		String mail = "abc1@sina.com.cn";
		
		String regex = "[a-zA-Z0-9_]+@[a-zA-Z0-9]+(\\.[a-zA-Z]{1,3})+";
		
		regex = "\\w+@\\w+(\\.\\w+)+";//1@1.1
		
		
		
		boolean b = mail.matches(regex);
		
		System.out.println(mail+":"+b);
		
		
	}
	/*
	 * 1,治口吃。
	 */
	public static void test_1(){
		
		String str = "我我...我我...我我我要...要要要要...要要要要..学学学学学...学学编编...编编编编..编..程程...程程...程程程";
		
		//1，将字符串中.去掉。 用替换。
		str = str.replaceAll("\\.+","");
		System.out.println(str);
		
		//2,替换叠词。
		str = str.replaceAll("(.)\\1+","$1");
		System.out.println(str);
		
		
	}
	/*
	 * ip地址排序。 
	 * 
	 * 192.168.10.34 127.0.0.1 3.3.3.3  105.70.11.55
	 */
	public static void test_2(){
		
		String ip_str = "192.168.10.34  127.0.0.1  3.3.3.3  105.70.11.55";
		
		
		//1,为了让ip可以按照字符串顺序比较，只要让ip的每一段的位数相同。
		//所以，补零，按照每一位所需做多0进行补充。每一段都加两个0.
		
		ip_str = ip_str.replaceAll("(\\d+)","00$1");
		System.out.println(ip_str);
		
		//然后每一段保留数字3位。
		ip_str = ip_str.replaceAll("0*(\\d{3})","$1");
		System.out.println(ip_str);
		
		
		//1，将ip地址切出。
		String[] ips = ip_str.split(" +");
		
		TreeSet<String> ts = new TreeSet<String>();
		
		for(String  ip : ips){
//			System.out.println(ip);
			ts.add(ip);
		}
		
		for(String ip : ts){
			System.out.println(ip.replaceAll("0*(\\d+)","$1"));
		}
		
	}

}


网页爬虫 
package cn.itcast.regex.test;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;


/*
 * 网页爬虫：其实就一个程序用于在互联网中获取符合指定规则的数据。 
 * 
 * 爬取邮箱地址。 
 * 
 */
public class RegexTest2 {

	/**
	 * @param args
	 * @throws IOException 
	 */
	public static void main(String[] args) throws IOException {

		
		List<String> list = getMailsByWeb();
		
		for(String mail : list){
			System.out.println(mail);
		}
	}
	
	public static List<String> getMailsByWeb() throws IOException {
		
		//1,读取源文件。
//				BufferedReader bufr = new BufferedReader(new FileReader("c:\\mail.html"));
		
		URL url = new URL("http://192.168.1.100:8080/myweb/mail.html");
		
		BufferedReader bufIn = new BufferedReader(new InputStreamReader(url.openStream()));
				
		//2,对读取的数据进行规则的匹配。从中获取符合规则的数据.
		String mail_regex = "\\w+@\\w+(\\.\\w+)+";
		
		List<String> list = new ArrayList<String>();
		
		
		Pattern p = Pattern.compile(mail_regex);
		
		String line = null;
		
		while((line=bufIn.readLine())!=null){
			
			Matcher m = p.matcher(line);
			while(m.find()){
				//3,将符合规则的数据存储到集合中。
				list.add(m.group());
			}
			
		}
		return list;
	}

	public static List<String>  getMails() throws IOException{
		
		//1,读取源文件。
		BufferedReader bufr = new BufferedReader(new FileReader("c:\\mail.html"));
		
		//2,对读取的数据进行规则的匹配。从中获取符合规则的数据.
		String mail_regex = "\\w+@\\w+(\\.\\w+)+";
		
		List<String> list = new ArrayList<String>();
		
		
		Pattern p = Pattern.compile(mail_regex);
		
		String line = null;
		
		while((line=bufr.readLine())!=null){
			
			Matcher m = p.matcher(line);
			while(m.find()){
				//3,将符合规则的数据存储到集合中。
				list.add(m.group());
			}
			
		}
		return list;
		
	}

}

猜你在找的正则表达式相关文章

常用正则表达式-手机号、身份证、邮箱
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^d{n}$ 3 至少n位的数字：^d{n,}$ 4...
JS正则表达式详解
正则表达式非常有用，查找、匹配、处理字符串、替换和转换字符串，输入输出等。下面整理一...
组内正则培训记录
0. 注： 不同语言中的正则表达式实现都会有一些不同。下文中的代码示例除特别说明的外，都...
高级正则表达式技术（Python版）
 正则表达式是从信息中搜索特定的模式的一把瑞士军刀。它们是一个巨大的工具库，其中的...
史上最全最常用的正则表达式
一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,...
正则表达式工具
正则表达式初步
分享5个可视化的正则表达式编辑工具
　　正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编...
分享5个可视化的正则表达式编辑工具
正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器...
[知识积累]--正则表达式记忆表
在工作中常常遇到正则表达式问题，有时候又会忘记这则的语法。 下面就分享一份正则表达式记...
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript