Zihao

Make small but daily progress

0%

php多线程之curl_multi

大家都知道php没有多线程,这也是弱于java等高级语言的表现之一。

但有时候我们还是需要php同时做一些操作,这时候我们可以借助服务器的多程线来实现。

自然就会想起 curl_multi_*系列函数,这些函数说明并不详细,例子也很少。

一般来说,想到要用这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求。

步骤总结如下:

1
2
3
4
5
6
7
第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close

————————— 以下例子为本人测试时使用 —————————-

背景:

1.在test数据库下建立test

1
2
3
4
5
6
7
use test;

CREATE TABLE `test` (
`id` int(11) NOT NULL auto_increment,
`record_date` datetime NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

2.在虚拟目录下建立相关测试目录和两个文件

1
/www/test/curl_multi/index.php & do.php

[php] view plaincopy

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
<?
/**
* @Author: Ewing
* @Date: 2010-10-10
* @File:curl/multi/index.php
* @Desc: make multi action
*/
$t=getTime();
$total=60;//由测试得少于64个线程运行一次没有延迟,太多的话可能是apache的原因,效果并不理想,大家可以自己输入不同的值测试
for($i=0;$i<$total;$i++)
$url_arr[]=“http://localhost/test/curl_multi/do.php?i=$i”;
$mh = curl_multi_init();
foreach ($url_arr as $i => $url) {
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);//设置返回do.php页面输出内容
curl_multi_add_handle ($mh,$conn[$i]);//添加线程
}
#—————-执行线程—————-
//do{$n=curl_multi_exec($mh,$active); }while($active); //网上说些方法有时会让CPU达100%
do{
$mrc = curl_multi_exec($mh,$active);
}while($mrc == CURLM_CALL_MULTI_PERFORM);
while($active and $mrc == CURLM_OK){
if(curl_multi_select($mh) != -1){
do{
$mrc = curl_multi_exec($mh, $active);
}while($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
#——————————-
foreach($url_arr as $i => $url){
$res[$i]=curl_multi_getcontent($conn[$i]);//得到页面输入内容
curl_close($conn[$i]);
}
foreach($res as $k=>$v){
$k=str_pad($k,2,0);
echo$k => $v <br>”;
}
runTime($t);
#———– calculate time function————-
function getTime(){
$TIME=explode(“ ”,microtime());
$TIME=$TIME[1].substr($TIME[0],1);
return $TIME;
}
function runTime($t,$l=3){
$dif=getTime()-$t;
echo ‘ ’.number_format($dif,$l);
}
?>

[c-sharp] view plaincopy

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
<?
/**
* @Author: Ewing
* @Date: 2010-10-10
* @File:curl/multi/do.php
* @Desc: do something here
*/
$t=getTime();
sleep(mt_rand(1,3));//设置延迟
//数据库处理
mysql_connect(“localhost”,“root”,“your_password”);
mysql_select_db(“test”);
mysql_query(“insert into test(record_date) value(NOW())”);
//文件处理
$file=‘./test.txt’;
$fp=fopen($file,‘a’);
flock($fp, LOCK_EX);
fwrite($fp,date(‘H:i:s’).“/n/r”);
fclose($fp);
echo date(‘H:i:s’);
runTime($t);
#————-calculate time function————
function getTime(){
$TIME=explode(“ ”,microtime());
$TIME=$TIME[1].substr($TIME[0],1);
return $TIME;
}
function runTime($t,$l=3){
$dif=getTime()-$t;
echo ‘ ’.number_format($dif,$l);
}
?>

在浏览器上打开 http://localhost/test/curl_multi/ 即可看到效果

ps:以上例子只是用于本地处理多线程,用多线程取网页数据也是可以的,只要把index.php中的$url_arr换成外网的url即可。不过建议不要一次拿太多的url,不然会有意想不到的结果哦,想知道是什么?自己试试吧。

欢迎关注我的其它发布渠道