如何解决PHP使用mysql_query查询超大结果集超内存问题


再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808

Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)

占用内存大小:145544

Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)

占用内存大小:145544

Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)

占用内存大小:145536

Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)

占用内存大小:145536

Array
(
[id] => 5
[a] => q
[b] => g
[c] => g
)

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。



相关阅读:
jQuery插件开发的两种方法及$.fn.extend的详解
win10耳机有电流声而且声音很大影响使用该怎么办?
如何解决JQuery ajaxSubmit提交中文乱码
Win10 Mobile Build 10549正式推送:须回滚到WP8.1升级
Asp.net把图片存入数据库和读取图片的方法
js实现iframe框架取值的方法(兼容IE,firefox,chrome等)
jquery使用ul模拟select实现表单美化的方法
PHP获取音频文件的相关信息
Android处理图像数据转换的各种方法
C#特性 扩展方法
php使用百度ping服务代码实例
C语言中用于产生随机数的函数使用方法总结
js将当前时间格式转换成时间搓(自写)
使用GruntJS构建Web程序之Tasks(任务)篇
快速导航
PHP MySQL HTML CSS JavaScript MSSQL AJAX .NET JSP Linux Mac ASP 服务器 SQL jQuery C# C++ java Android IOS oracle MongoDB SQLite wamp 交通频道 作文范文 五府山-南陵 永嘉-三门县 花园-济南 邳州-沁县 磁窑-焦作 钟祥-咸宁 曲靖-梅州 刘沟-白石岩 通道-广元 普兰店-济南 三花石-石泉县 萍乡-昆明 绩溪北-沧州西 双石桥-金刚沱 亭亮-龙伯屯 兖州-迁安 留庄-济源 石门县北-白洋淀 乐都-牙屯堡 哈尔滨-沭阳 无为-闽清北 苏州-常州 土溪-东莞东 黎塘-共青城 高平-襄垣 常州-枣庄西 新松浦-庆安 吐鲁番北-子洲 霍州-天水 肃宁-成都 邹城-西安 孝感-韶关东 南充-青田 三道营-公积坂 义乌-源潭 滦县-新民 通辽-惠农 绍兴北-贵定北 东安东-汝州 信阳-商城 佛岭-柴河 塘沽-开封 扶余北-滨海北 长春-桑根达来 山市-拉古 长沙南-桂林北 六安-昆山南 天津西-石家庄 建阳-清河城 西安-合阳北 通辽-包头 大徐屯-郭家屯 大营镇-樟树 祁阳-渭南北 锦州-上海南 黄山-娄底 绥化-克山 卫星-哈尔滨东 威海-菏泽 德惠-普兰店 安阳-萨拉齐 富拉尔基-里木店 东营南-北京 玉屏-烟台 沈家河-三关口 哈尔滨西-铁岭 朝中-得耳布尔 福州-淄博 柳河-塘沽 海北-本溪 霸州-蕲春 忻州-宁武 八方-劲松 九江-浠水 好鲁库-宇宙地 武威-新和 汉川-岳阳东 赣州-阜阳 衡水-芦台 蓝村-磁窑 上海到仪征有直达吗
寄信从银川到扬州需要多少小时
黑龙江五大连池火山,自助游,怎么去?路线谁知道?
爱尔眼科医院在哪,我在广东佛山市盐步镇,怎么走呢
从邢台客运站怎么乘车去保定
从渭南到渭北(浦城、富平、大荔等)有几个大桥
你好。请问下你从凤凰到怀化是坐列车的吗
有从沧州到保定高碑店的汽车马
从大连列车站到大连解放军215医院要怎么走
从南岳大庙门口怎么去衡山西
河北的非物质文化遗产都有哪些?
急求:宜宾到宜昌怎么坐车那种方法最方便 快捷
大明嫔妃之美人计剧情
2011年9月到12月的重要国内外新闻
三月底度蜜月,从武汉出发的,去云南自助游,大概十天吧,请
平顶山到汝州的客车票价
关于天津地区出租车计价的问题:
楚长城遗址景点介绍?
西沙群岛由哪个国家实际控制?
济南从银座燕山店到齐鲁商城怎么走
从列车火车站到浙江工商大学坐几路公交车
永川到安岳文化线路怎么坐车
西安到襄樊的汽车
沈阳到吉林省朝阳县的汽车客车
你好,我想在5月15号到20号搭飞机从广州到杭州,想到南浔和绍
山西太原火车列车站候车室没票能进去吗
关于k228次火车列车发车问题
南京到桂林与广东的飞机票价钱数格分别是多少南京到苏州的火
清远哪里卖瑞风车_清远哪里卖瑞风车
谁原来从黄山市调到巢湖市当副市长

Copyright © 2016 phpStudy |