當需要同時處理多個url時,可采用curl_multi_perform方式執行,如下代碼1:
1 //初始化一個multi curl 對象
2 CURLM * curl_m = curl_multi_init();
3 CURL * my_curl[CURL_NUM];
4 char rcvbuf[CURL_NUM][MAXHEADLEN] = { 0 };
5 //其他初始化代碼略過...
6
7 //執行多個url
8 while(running_handles)
9 {
10 if (-1 == curl_multi_select(curl_m))
11 {
12 printf("curl_multi_select error !\n");
13 break;
14 }
15 else {
16 // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
17 while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));
18 }
19 }
20
21 //解析數據
22 int msgs_left;
23 CURLMsg * curl_msg;
24 while((curl_msg = curl_multi_info_read(curl_m, &msgs_left)))
25 {
26 if (CURLMSG_DONE == curl_msg->msg)
27 {
28 int idx;
29 for (idx = 0; idx < CURL_NUM; ++idx)
30 {
31 if (curl_msg->easy_handle == my_curl[idx]) break;
32 }
33
34 if (idx == CURL_NUM)
35 {
36 printf("curl not found !\n" );
37 }
38 else
39 {
40 printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]);
41 //數據處理...
42 }
43 }
44 }
現在我的url為訂閱方式,每個curl都會一直收數據(即使沒數據也會每10s收到一幀心跳消息),永遠不會退出,即上面的循環永遠在執行,這樣我無法運行到"解析數據"那一步。所以我需要在循環內判斷某個curl是否有新數據到來。
首先想到的方法是直接將curl_multi_info_read()函數直接移到循環內,看是否能受到數據,如下代碼2:
1 //執行多個url,並解析數據
2 while(running_handles)
3 {
4 if (-1 == curl_multi_select(curl_m))
5 {
6 printf("curl_multi_select error !\n");
7 break;
8 }
9 else {
10 // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
11 while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));
12 //檢測哪一個curl[idx]來的數據
13 while ((curl_msg = curl_multi_info_read(curl_m, &msgs_left)))
14 {
15 if (CURLMSG_DONE == curl_msg->msg)
16 {
17 int idx;
18 for (idx = 0; idx < CURL_NUM; ++idx)
19 {
20 if (curl_msg->easy_handle == my_curl[idx]) break;
21 }
22 if (idx == CURL_NUM)
23 {
24 printf("curl not found !\n" );
25 }
26 else
27 {
28 printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]);
29 //數據處理...
30 memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));//清空buf下輪循環還要用
31 }
32 }
33 }
34 }
35 }
顯然是我想多了,這樣處理之後唯一的不同就是,哪個curl執行完了就打印哪個的數據(代碼1的是只能等到所有的curl都執行完畢退出循環後依次打印rcvbuf[idx]),但我的curl是訂閱的,根本執行不完,這樣也沒法打印,除非rcvbuf[idx]溢出...
rcvbuf[idx]溢出?這樣肯定不可能,但是讓我想起了curl_easy_setopt()函數,這貨可以配置curl的各種功能,或許總有一個能滿足我吧:
CURLOPT_TIMEOUT_MS 配置超時時間?
不對,這個是要超時了curl直接掛了;
CURLOPT_RANGE 配置斷點續傳?
貌似可以;通過測試發現收指定XX個字節滿了後該curl就退出了,即使後面還有數據他也不要了,這不是我們想看到的。
還有一個接收超時時間的配置?
同上,超過多少s後即使還有數據他也不要了,也不行。
...
相信通過配置curl_easy_setopt()函數應該是最官方的做法,但小弟不才沒有找到相關文章,自己研究也沒搞出來,有待高人指點。
萬般無奈之下,突然想到既然curl[idx]收到的數據在rcvbuf[idx]中,為何不直接檢查rcvbuf[idx]中有沒有數據,如下代碼3:
1 //執行多個url,並解析數據
2 while(running_handles)
3 {
4 if (-1 == curl_multi_select(curl_m))
5 {
6 printf("curl_multi_select error !\n");
7 break;
8 }
9 else {
10 // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
11 while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));
12 //檢測哪一個curl[idx]來的數據
13 int idx = 0;
14 for (idx = 0; idx < CURL_NUM; ++idx)
15 {
16 if (rcvbuf[idx][0] == NULL) //curl[idx]沒有收到數據。
17 continue;
18 printf("curl[%d] rcvbuf:\n%s\n", idx, rcvbuf[idx]);
19 //數據處理...
20 memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));
21 }
22 }
23 }
通過上面的處理確實能滿足要求,但是方法有些笨,存在2個明顯的缺陷:
1. 每次都要檢測所有的curl一遍,效率低;
2. 一旦某個curl因某種原因死掉了,我該如何判斷是哪一個curl掛了?
所以處理這個問題是否有官方的方法?還有待高人解答,保持關注更新。