切换导航
首页
技术问答
编程语言
前端开发
移动开发
开发工具
程序设计
行业应用
CMS系统
服务器
频道导航
▸ PHP
▸ Java
▸ Java SE
▸ Python
▸ C#
▸ C&C++
▸ Ruby
▸ VB
▸ asp.Net
▸ Go
▸ Perl
▸ netty
▸ Django
▸ Delphi
▸ Jsp
▸ .NET Core
▸ Spring
▸ Flask
▸ Springboot
▸ SpringMVC
▸ Lua
▸ Laravel
▸ Mybatis
▸ Asp
▸ Groovy
▸ ThinkPHP
▸ Yii
▸ swoole
▸ HTML
▸ HTML5
▸ JavaScript
▸ CSS
▸ jQuery
▸ Bootstrap
▸ Angularjs
▸ TypeScript
▸ Vue
▸ Dojo
▸ Json
▸ Electron
▸ Node.js
▸ extjs
▸ Express
▸ XML
▸ ES6
▸ Ajax
▸ Flash
▸ Unity
▸ React
▸ Flex
▸ Ant Design
▸ Web前端
▸ 微信小程序
▸ 微信公众号
▸ iOS
▸ Android
▸ Swift
▸ Hybrid
▸ Cocos2d-x
▸ Flutter
▸ Xcode
▸ Silverlight
▸ cocoa
▸ Cordova
前端之家
PHP
php数组对百万数据进行排除重复数据的实现代码
php数组对百万数据进行排除重复数据的实现代码
2018-12-30
PHP
前端之家
前端之家
收集整理的这篇文章主要介绍了
php数组对百万数据进行排除重复数据的实现代码
,
前端之家
小编觉得挺不错的,现在分享给大家,也给大家做个参考。
假如得到一个uid列表,
数量
在百万行以上,格式如下:
<div class="codetitle">
@L_
404
_0@
代码
如下:
<div class="codebody" id="code8364">
10001000
10001001
10001002
......
10001000
......
10001111
其实利用
PHP
数组的特性,很好进行排重,我们先来看一下
PHP
数组的定义:
PHP
中的数组实际上是一个有序映射。映射是一种把 values 关联到 keys 的类型。此类型在很多方面做了优化,因此可以把它当成真正的数组,或列表(向量),散列表(是映射的一种实现),字典,集合,栈,队列以及更多可能性。数组元素的值也可以是另一个数组。树形结构和多维数组也是允许的。 在
PHP
的数组中,键(keys)也称为索引,具有唯一性,我们正可以利用这一特性进行排重,示例
代码
如下:
<div class="codetitle">
<a style="CURSOR: pointer" data="78" class="copybut" id="copybut78" onclick="doCopy('code78')">
代码
如下:
<div class="codebody" id="code78">
<?
PHP
//定义一个数组,用于存放排重后的结果
$result = array();
//读取uid列表
文件
$fp = fopen('test.txt','r'); while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid,"\r");
$uid = trim($uid,"\n"); if($uid == '')
{
continue;
}
//以uid为key去看该值是否存在
if(empty($result[$uid]))
{
$result[$uid] = 1;
}
} fclose($fp); //将结果保存到
文件
$content = '';
foreach($result as $k => $v)
{
$content .= $k."\n";
}
$fp = fopen('result.txt','w');
fwrite($fp,$content);
fclose($fp);
?>
20多行
代码
,就可以对百万以上的数据进行排重,效率也不错,非常实用。手机号、email,也可以采用这种方式进行排重。 还有,这可
方法
还可以用于两个
文件
进行排重的工作,如果你有两个uid列表
文件
,格式和上面的uid列表一样,示例程序如下:
<div class="codetitle">
<a style="CURSOR: pointer" data="78052" class="copybut" id="copybut78052" onclick="doCopy('code78052')">
代码
如下:
<div class="codebody" id="code78052">
<?
PHP
//定义数组,用于存放排重后的结果
$result = array();
//读取第一个uid列表
文件
,放入$result_1
$fp = fopen('test_1.txt','r');
while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid,"\n");
if($uid == '')
{
continue;
}
//以uid为key写入$result,如有重复就会覆盖
$result[$uid] = 1;
}
fclose($fp);
//读取第二个uid列表
文件
,并进行排重操作
$fp = fopen('test_2.txt',"\n");
if($uid == '')
{
continue;
}
//以uid为key去看该值是否存在
if(empty($result[$uid]))
{
$result[$uid] = 1;
}
}
fclose($fp);
//$result里保存的就排重以后的结果,可以
输出
到
文件
,
代码
省略
?>
仔细想想,不难发现,利用数组的这一特性还可以
解决
我们工作中的更多问题。
数组
数组
数组
数组
重复数据
上一篇:php 上传文件类型判断函数(避免上传
下一篇:php网站来路获取代码(针对搜索引擎
猜你在找的PHP相关文章
Hessian通讯协议【附PHP源代码】
Hessian开源的远程通讯,采用二进制 RPC的协议,基于 HTTP 传输。可以实现PHP调用Java,Pyt...
作者:前端之家 时间:2021-02-22
初识Mongodb总结
初识Mongodb的一些总结,在Mac Os X下真实搭建mongodb环境,以及分享个Mongodb管理工具,学习...
作者:前端之家 时间:2021-02-22
初识Mongodb之[CURD]-PHP版
边看边操作,这样才能记得牢,实践是检验真理的唯一标准.光看不练假把式,光练不看傻把式,边看...
作者:前端之家 时间:2021-02-22
php学习日志 - echo&print
在php中,结果输出一共有两种方式:echo和print,下面将对两种方式做一个比较。 echo与pri...
作者:前端之家 时间:2021-02-21
The mbstring extension is missing. Please check your PHP configuration错误及解决方法
在安装好wampServer后,一直没有使用phpMyAdmin,今天用了一下,phpMyAdmin显示错误:The m...
作者:前端之家 时间:2021-02-21
解决Windows Live Writer错误:WindowsLive.Writer.CoreServices.HttpRequestHelper的类型初始值设定发生异常
以前用Windows Live Writer写日志都好好的,前几天用写完日志,点击发布,突然弹出意外错误...
作者:前端之家 时间:2021-02-21
在PHP项目中使用Standford Moss代码查重系统
Standford Moss 系统是斯坦福大学大名鼎鼎的代码查重系统,它可以查出哪些同学提交的代码是...
作者:前端之家 时间:2021-02-18
Windows下PHP安全环境的搭建
笔者一直在Windows环境下搭建PHP的运行环境,大大小小的运行环境用过不少,从开始的WAMP到...
作者:前端之家 时间:2021-02-18
ThinkPHP5作业管理系统中处理学生未交作业与已交作业信息
在作业管理系统中,学生登陆到个人中心后可以通过左侧的菜单查看自己已经提交的作业和未提...
作者:前端之家 时间:2021-02-18
ThinkPHP5项目目录规划实践
ThinkPHP5安装后(或者下载后的压缩文件解压后)可以看到下面的目录结构: 一般的信息管理...
作者:前端之家 时间:2021-02-18
编程分类
PHP
Java
Java SE
Python
C#
C&C++
Ruby
VB
asp.Net
Go
Perl
netty
Django
Delphi
Jsp
.NET Core
Spring
Flask
Springboot
SpringMVC
Lua
Laravel
Mybatis
Asp
Groovy
ThinkPHP
Yii
swoole
最新文章
• Hessian通讯协议【附PHP源
• 初识Mongodb总结
• 初识Mongodb之[CURD]-PHP版
• php学习日志 - echo&p
• The mbstring extension i
• php学习日志 - php变量
• 解决Windows Live Writer错
• 在PHP项目中使用Standford
• Windows下PHP安全环境的搭
• ThinkPHP5作业管理系统中处
热门标签
更多 ►
文件时间
pythonm
相等性
PHP Warning
时间问题
问题解决
pcntl_signal
采样点
wav模块
动态文本
调用频率限制
对外暴露
多个访问请求
更新数据表
模型结构
type()方法
比较速度
手写体
sobel算子
保存模型
Image类
nn.Conv2d
pytorch1.0
kaggle
DCGAN
交并比
range()用法
打印模型
反卷积
卷积