频道导航

php对大文件进行读取操作的实现代码

2018-12-30 PHP 前端之家

前端之家收集整理的这篇文章主要介绍了php对大文件进行读取操作的实现代码，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

在PHP中，对于文件的读取时，最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数，简简单单的几行代码就能很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时，这些函数可能就显的力不从心,下面将从一个需求入手来说明对于读取大文件时，常用的操作方法。
需求有一个800M的日志文件,大约有500多万行，用PHP返回最后几行的内容。实现方法

1. 直接采用file函数来操作

注：由于 file函数是一次性将所有内容读入内存，而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足，使服务器出现宕机，所以默认情况下限制只能最大使用内存16M,这是通过PHP.ini里的memory_limit = 16M来进行设置，这个值如果设置-1，则内存使用量不受限制. 下面是一段用file来取出这具文件最后一行的代码.
整个代码执行完成耗时 116.9613 (s).
<div class="codetitle"><a style="CURSOR: pointer" data="38151" class="copybut" id="copybut38151" onclick="doCopy('code38151')"> 代码如下:

<div class="codebody" id="code38151">
$fp = fopen($file,"r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u",filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk) {
$seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
fseek($fp,($len + $seekSize) -1,SEEK_END);
$readData = fread($fp,$seekSize) . $readData; if (substr_count($readData,"\n") >= $num + 1) {
preg_match("!(.?\n){".($num)."}$!",$readData,$match);
$data = $match[0];
break;
}
}
fclose($fp);
echo $data;

我机器是2个G的内存，当按下F5运行时，系统直接变灰，差不多20分钟后才恢复过来，可见将这么大的文件全部直接读入内存，后果是多少严重，所以不在万不得以，memory_limit这东西不能调得太高，否则只有打电话给机房，让reset机器了.

2.直接调用linux的tail命令来显示最后几行

在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用PHP来调用tail命令,执行PHP 代码如下.
整个代码执行完成耗时 0.0034 (s)
<div class="codetitle"><a style="CURSOR: pointer" data="29865" class="copybut" id="copybut29865" onclick="doCopy('code29865')"> 代码如下:

<div class="codebody" id="code29865">
file = 'access.log';
$file = escapeshellarg($file); // 对命令行参数进行安全转义
$line = tail -n 1 $file;
echo $line;

3. 直接使用PHP的fseek来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.

方法一

首先通过fseek找到文件的最后一位EOF，然后找最后一行的起始位置，取这一行的数据，再找次一行的起始位置，再取这一行的位置，依次类推，直到找到了$num行。
实现代码如下
整个代码执行完成耗时 0.0095 (s)
<div class="codetitle"><a style="CURSOR: pointer" data="7838" class="copybut" id="copybut7838" onclick="doCopy('code7838')"> 代码如下:

<div class="codebody" id="code7838">
function tail($fp,$n,$base=5)
{
assert($n>0);
$pos = $n+1;
$lines = array();
while(count($lines)< =$n){
try{
fseek($fp,-$pos,SEEK_END);
} catch (Exception $e){
fseek(0);
break;
}
$pos *= $base;
while(!feof($fp)){
array_unshift($lines,fgets($fp));
}
}
return array_slice($lines,$n);
}
var_dump(tail(fopen("access.log","r+"),10));

方法二

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(\n)的个数来判断是否已经读完最后$num行数据.
实现代码如下
整个代码执行完成耗时 0.0009(s).
<div class="codetitle"><a style="CURSOR: pointer" data="47359" class="copybut" id="copybut47359" onclick="doCopy('code47359')"> 代码如下:

<div class="codebody" id="code47359">
$fp = fopen($file,"r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0) {
while ($t != "\n") {
fseek($fp,$pos,SEEK_END);
$t = fgetc($fp);
$pos --;
}
$t = " ";
$data .= fgets($fp);
$line --;
}
fclose ($fp);
echo $data

方法三

整个代码执行完成耗时 0.0003(s)
<div class="codetitle"><a style="CURSOR: pointer" data="28797" class="copybut" id="copybut28797" onclick="doCopy('code28797')"> 代码如下:<div class="codebody" id="code28797">
ini_set('memory_limit','-1');
$file = 'access.log';
$data = file($file);
$line = $data[count($data)-1];
echo $line;

大文件读取操作

上一篇：php删除与复制文件夹及其文件夹下所下一篇：用php来改写404错误页让你的页面更

猜你在找的PHP相关文章

Hessian通讯协议【附PHP源代码】

Hessian开源的远程通讯，采用二进制 RPC的协议，基于 HTTP 传输。可以实现PHP调用Java,Pyt...

作者：前端之家时间：2021-02-22

初识Mongodb总结

初识Mongodb的一些总结,在Mac Os X下真实搭建mongodb环境,以及分享个Mongodb管理工具,学习...

作者：前端之家时间：2021-02-22

初识Mongodb之[CURD]-PHP版

边看边操作,这样才能记得牢,实践是检验真理的唯一标准.光看不练假把式,光练不看傻把式,边看...

作者：前端之家时间：2021-02-22

php学习日志 - echo&print

在php中，结果输出一共有两种方式：echo和print，下面将对两种方式做一个比较。 echo与pri...

作者：前端之家时间：2021-02-21

The mbstring extension is missing. Please check your PHP configuration错误及解决方法

在安装好wampServer后，一直没有使用phpMyAdmin,今天用了一下，phpMyAdmin显示错误：The m...

作者：前端之家时间：2021-02-21

解决Windows Live Writer错误:WindowsLive.Writer.CoreServices.HttpRequestHelper的类型初始值设定发生异常

以前用Windows Live Writer写日志都好好的，前几天用写完日志，点击发布，突然弹出意外错误...

作者：前端之家时间：2021-02-21

在PHP项目中使用Standford Moss代码查重系统

Standford Moss 系统是斯坦福大学大名鼎鼎的代码查重系统，它可以查出哪些同学提交的代码是...

作者：前端之家时间：2021-02-18

Windows下PHP安全环境的搭建

笔者一直在Windows环境下搭建PHP的运行环境，大大小小的运行环境用过不少，从开始的WAMP到...

作者：前端之家时间：2021-02-18

ThinkPHP5作业管理系统中处理学生未交作业与已交作业信息

在作业管理系统中，学生登陆到个人中心后可以通过左侧的菜单查看自己已经提交的作业和未提...

作者：前端之家时间：2021-02-18

ThinkPHP5项目目录规划实践

ThinkPHP5安装后（或者下载后的压缩文件解压后）可以看到下面的目录结构：一般的信息管理...

作者：前端之家时间：2021-02-18

编程分类

PHP Java Java SE Python C#C&C++Ruby VB asp.Net Go Perl netty Django Delphi Jsp .NET Core Spring Flask Springboot SpringMVC Lua Laravel Mybatis Asp Groovy ThinkPHP Yii swoole

最新文章