用PHP读取超大文件的实例代码
前端之家收集整理的这篇文章主要介绍了
用PHP读取超大文件的实例代码，
前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
去年年底的各种网站帐号信息的数据库泄漏，很是给力啊，趁机也下载了几个数据库，准备学学数据分析家来分析一下这些帐号信息。虽然这些数据信息都已经被“整理”过的，不过自己拿来学习也挺有用的，毕竟有这么大的数据量。 数据量大带来的问题就是单个文件很大，能够打开这个文件相当不容易，记事本就不要指望了，果断死机。用MSsql的客户端也打不开这么大的sql文件，直接报内存不足，原因据说是MSsql在读取数据的时候，是一次性地将读取到的数据放在内存中，如果数据量过大，而内存不足，则会直接导致系统瘫掉。
Navicat Premium
这儿推荐一个软件Navicat Premium，相当给力啊，几百兆的
sql文件轻松就打开了，一点都不卡。而且这个客户端软件
支持MS
sql、
MysqL、Oracle……等等各种
数据库的连接，其它的很多
功能就自己慢慢研究了。 虽然用Navicat可以打开CSDN这个274MB的
sql文件，但是
内容却是没意义的，而且也不方便对这些帐号信息进行
查询、
分类、
统计等等操作。唯一的
方法就是把这些数据一条一条地读取出来，然后分拆每条记录的不同片段，再将这些片段以数据字段的格式存入
数据库，这样就可以方便以后的使用了。
PHP有很多种
文件读取的方式，根据目标
文件的不同，采取更合适的
方法，可有效地提高执行效率。由于CSDN
数据库文件很大，所以我们尽量不在短时间内全都读取出来，毕竟每读取一条数据还要对其分拆和写入操作。那么比较合适的方式就是对
文件进行分区域地读取，通过使用
PHP的fseek和fread相结合，即可做到随意读取
文件中的某一部份数据，下面是实例
代码： <div class="codetitle">
<a style="CURSOR: pointer" data="66621" class="copybut" id="copybut66621" onclick="doCopy('code66621')"> 代码如下: <div class="codebody" id="code66621">
function readBigFile($filename,$count = 20,$tag = "\r\n") {
$content = "";//最终
内容 $current = "";//当前读取
内容寄存
$step= 1;//每次走多少字符
$tagLen = strlen($tag);
$start = 0;//起始位置
$i = 0;//计数器
$handle = fopen($filename,'r+');//读写模式打开
文件，指针指向
文件起始位置
while($i < $count && !feof($handle)) {
fseek($handle,$start,SEEK_SET);//指针设置在
文件开头
$current = fread($handle,$step);//读取
文件 $content .= $current;//组合字符串
$start += $step;//依据步长向前移动
//依据分隔符的长度
截取字符串最后免得几个字符
$substrTag = substr($content,-$tagLen);
if ($substrTag == $tag) { //判断是否为判断是否是换行或其他分隔符
$i++;
$content .= "
";
}
}
//
关闭文件 fclose($handle);
//返回结果
return $content;
}
$filename = "csdn.
sql";//需要读取的
文件 $tag = "\n";//行分隔符 注意这里必须用双引号
$count = 100;//读取行数
$data = readBigFile($filename,$count,$tag);
echo $data;
传入的变量$tag的值，根据系统不一样，传入的值也是有区别的：Windows用”\r\n”，linux/unix用”\n”，Mac OS用”\r”。 程序执行的大概流程：先定义读取
