使用libcurl进行异步并发访问与文件上传

Cocos2d-x 前端之家
前端之家收集整理的这篇文章主要介绍了使用libcurl进行异步并发访问与文件上传，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

转载自：http://blog.csdn.net/zxgfa/article/details/8302059

curl是一款利用URL语法进行文件传输的工具，它支持多种协议，包括FTP,FTPS,HTTP,HTTPS,GOPHER,TELNET等，我们既可以在命令行上使用它，也可以利用 libcurl进行相关编程。相信大部分同学都应该使用过libcurl的easy 接口，easy接口的使用非常的简单，curl_easy_init用来初始化一个easy curl对象，curl_easy_setopt对easy curl对象进行相关设置，最后curl_easy_perform执行curl请求，返回相应结果。easy接口是阻塞的，也就是说必须等到上一个curl请求执行完后，下一个curl请求才能继续执行，在一般的应用场合，这种阻塞的访问方式是没有问题的，但是当程序需要进行多次curl并发请求的时候，easy接口就无能为力了，这个时候curl提供的multi接口就派上用场了，网上关于libcurl的multi接口的使用资料比较少（百度出来的大部分都是PHP multi curl的资料），curl官网上貌似也只有相关函数的说明，有实际demo才能让我们更快速的上手使用，所以下面结合实际例子来讲讲multi curl接口的使用方法。

相比而言，multi接口的使用会比easy 接口稍微复杂点，毕竟multi接口是依赖easy接口的，首先粗略的讲下其使用流程：curl_multi _init初始化一个multi curl对象，为了同时进行多个curl的并发访问，我们需要初始化多个easy curl对象，使用curl_easy_setopt进行相关设置，然后调用curl_multi _add_handle把easy curl对象添加到multi curl对象中，添加完毕后执行curl_multi_perform方法进行并发的访问，访问结束后curl_multi_remove_handle移除相关easy curl对象，curl_easy_cleanup清除easy curl对象，最后curl_multi_cleanup清除multi curl对象。

上面的介绍只是给大家一个大概的印象，实际使用中还有很多细节需要注意，好了，代码才能说明一切，下面的例子使用multi curl方式进行多次http并发访问，并输出访问结果。

[cpp] view plain copy
  1. #include<string>
  2. #include<iostream>
  4. #include<curl/curl.h>
  5. #include<sys/time.h>
  6. #include<unistd.h>
  7. usingnamespacestd;
  8. size_tcurl_writer(void*buffer,size_tsize,87); background-color:inherit; font-weight:bold">size_tcount,void*stream)
  9. {
  10. std::string*pStream=static_cast<std::string*>(stream);
  11. (*pStream).append((char*)buffer,size*count);
  13. returnsize*count;
  14. };
  15. /**
  16. *生成一个easycurl对象，进行一些简单的设置操作
  17. */
  18. CURL*curl_easy_handler(conststd::string&sUrl,
  19. conststd::string&sProxy,
  20. std::string&sRsp,
  21. unsignedintuiTimeout)
  22. CURL*curl=curl_easy_init();
  23. curl_easy_setopt(curl,CURLOPT_URL,sUrl.c_str());
  24. curl_easy_setopt(curl,CURLOPT_NOSIGNAL,1);
  25. if(uiTimeout>0)
  26. {
  27. }
  28. if(!sProxy.empty())
  29. //writefunction//
  31. returncurl;
  32. }
  33. /**
  34. *使用select函数监听multicurl文件描述符的状态
  35. *监听成功返回0，监听失败返回-1
  36. intcurl_multi_select(CURLM*curl_m)
  37. intret=0;
  38. structtimevaltimeout_tv;
  39. fd_setfd_read;
  40. fd_setfd_write;
  41. fd_setfd_except;
  42. intmax_fd=-1;
  43. //注意这里一定要清空fdset,curl_multi_fdset不会执行fdset的清空操作//
  44. FD_ZERO(&fd_read);
  45. FD_ZERO(&fd_write);
  46. FD_ZERO(&fd_except);
  47. //设置select超时时间//
  48. timeout_tv.tv_sec=1;
  49. timeout_tv.tv_usec=0;
  50. //获取multicurl需要监听的文件描述符集合fd_set//
  51. curl_multi_fdset(curl_m,&fd_read,&fd_write,&fd_except,&max_fd);
  52. *Whenmax_fdreturnswith-1,0); background-color:inherit">*youneedtowaitawhileandthenproceedandcallcurl_multi_performanyway.
  53. *Howlongtowait?Iwouldsuggest100millisecondsatleast,0); background-color:inherit">*butyoumaywanttotestitoutinyourownparticularconditionstofindasuitablevalue.
  54. if(-1==max_fd)
  55. return-1;
  56. *执行监听，当文件描述符状态发生改变的时候返回
  57. *返回0，程序调用curl_multi_perform通知curl执行相应操作
  58. *返回-1，表示select错误
  59. *注意：即使select超时也需要返回0，具体可以去官网看文档说明
  60. */
  61. intret_code=::select(max_fd+1,&timeout_tv);
  62. switch(ret_code)
  63. case-1:
  64. /*selecterror*/
  65. ret=-1;
  66. break;
  67. case0:
  68. /*selecttimeout*/
  69. default:
  70. /*oneormoreofcurl'sfiledescriptoRSSaythere'sdatatoreadorwrite*/
  71. ret=0;
  72. returnret;
  73. #defineMULTI_CURL_NUM3
  74. //这里设置你需要访问的url//
  75. std::stringURL="http://website.com";
  76. //这里设置代理ip和端口//
  77. std::stringPROXY="ip:port";
  78. //这里设置超时时间//
  79. unsignedintTIMEOUT=2000;/*ms*/
  80. *multicurl使用demo
  81. intcurl_multi_demo(intnum)
  82. //初始化一个multicurl对象//
  83. CURLM*curl_m=curl_multi_init();
  84. std::stringRspArray[num];
  85. CURL*CurlArray[num];
  86. //设置easycurl对象并添加到multicurl对象中//
  87. for(intidx=0;idx<num;++idx)
  88. CurlArray[idx]=NULL;
  89. CurlArray[idx]=curl_easy_handler(URL,PROXY,RspArray[idx],TIMEOUT);
  90. if(CurlArray[idx]==NULL)
  91. curl_multi_add_handle(curl_m,CurlArray[idx]);
  92. /*
  93. *调用curl_multi_perform函数执行curl请求
  94. *url_multi_perform返回CURLM_CALL_MULTI_PERFORM时，表示需要继续调用该函数直到返回值不是CURLM_CALL_MULTI_PERFORM为止
  95. *running_handles变量返回正在处理的easycurl数量，running_handles为0表示当前没有正在执行的curl请求
  96. intrunning_handles;
  97. while(CURLM_CALL_MULTI_PERFORM==curl_multi_perform(curl_m,&running_handles))
  98. cout<<running_handles<<endl;
  99. *为了避免循环调用curl_multi_perform产生的cpu持续占用的问题，采用select来监听文件描述符
  100. while(running_handles)
  101. if(-1==curl_multi_select(curl_m))
  102. cerr<<"selecterror"<<endl;
  103. break;
  104. }else{
  105. //select监听到事件，调用curl_multi_perform通知curl执行相应的操作//
  106. cout<<"select:"<<running_handles<<endl;
  107. cout<<"select:"<<running_handles<<endl;
  108. //输出执行结果//
  109. intmsgs_left;
  110. CURLMsg*msg;
  111. while((msg=curl_multi_info_read(curl_m,&msgs_left)))
  112. if(CURLMSG_DONE==msg->msg)
  113. intidx;
  114. for(idx=0;idx<num;++idx)
  115. if(msg->easy_handle==CurlArray[idx])if(idx==num)
  116. cerr<<"curlnotfound"<<endl;
  117. else
  118. cout<<"curl["<<idx<<"]completedwithstatus:"
  119. <<msg->data.result<<endl;
  120. cout<<"rsp:"<<RspArray[idx]<<endl;
  121. //这里要注意cleanup的顺序//
  122. intidx=0;idx<num;++idx)
  123. curl_multi_remove_handle(curl_m,CurlArray[idx]);
  124. curl_easy_cleanup(CurlArray[idx]);
  125. curl_multi_cleanup(curl_m);
  126. return0;
  127. *easycurl使用demo
  128. intcurl_easy_demo( std::stringRspArray[num];
  129. CURL*curl=curl_easy_handler(URL,108); list-style:decimal-leading-zero outside; color:inherit; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLcodecode=curl_easy_perform(curl);
  130. <<code<<endl;
  131. //clearhandle//
  132. curl_easy_cleanup(curl);
  133. #defineUSE_MULTI_CURL
  134. structtimevalbegin_tv,end_tv;
  135. intmain(intargc,87); background-color:inherit; font-weight:bold">char*argv[])
  136. if(argc<2)
  137. intnum=atoi(argv[1]);
  138. //获取开始时间//
  139. gettimeofday(&begin_tv,NULL);
  140. #ifdefUSE_MULTI_CURL
  141. //使用multi接口进行访问//
  142. curl_multi_demo(num);
  143. #else
  144. //使用easy接口进行访问//
  145. curl_easy_demo(num);
  146. #endif
  147. //获取结束时间//
  148. structtimevalend_tv;
  149. gettimeofday(&end_tv,0); background-color:inherit">//计算执行延时并输出，用于比较//
  150. inteclapsed=(end_tv.tv_sec-begin_tv.tv_sec)*1000+
  151. (end_tv.tv_usec-begin_tv.tv_usec)/1000;
  152. cout<<"eclapsedtime:"<<eclapsed<<"ms"<<endl;
  153. }


上面的代码在关键位置都做了详细的注释，相信应该不难看懂。


上篇博文讲到了如何使用multicurl来进行http并发访问，今天继续有关curl的主题，来八一八如何使用curl来上传文件，在介绍具体方法之前了解下目前http文件上传的基本实现。

rfc1867描述了如何使用http协议来上传客户端文件，目前基本上所有的浏览器和web服务器都支持http文件上传，它的使用也十分的简单，具体的来说就是在页面上创建一个form表单，表单的enctype属性为multipart/form-data，action为接收上传文件的cgi url，请求方式为post，在表单中添加type属性为file的input，file input里面选择需要上传的文件，选择好后点击submit，服务器端收到multipart post请求后，会根据相关协议解析请求，然后保存上传的文件内容，Multipart表单示例：

[html] view plain copy
    <formenctype="multipart/form-data"action="http://host:port/UploadFile"method=post>
  1. Upload:br>
  2. inputname="userfile"type="file"> textfield:inputtype="text"name="text"value="text"inputtype="submit"value="提交"inputtype=reset </form>


好了，现在来讲一讲curl的文件上传，对于curl来讲，其实它要完成的任务就是构建一个multipart/formdata HTTP POST请求。类似于往multipart form表单中添加type为file或者text的input item一样，curl也需要我们构造表单中的input item，curl_formadd函数可以帮助我们完成这个任务，它即可以添加普通的name-value section，也可以添加file upload section，下面举几个具体例子：

1、添加name/content section

[cpp] copy
    curl_formadd(&post,&last,CURLFORM_COPYNAME,"name",CURLFORM_COPYCONTENTS,"content",CURLFORM_END);

2、添加name/content/contenttype section

copy
    "type",51); font-family:Arial; font-size:14px; line-height:26px"> 3、添加 file/filename section

    copy
    "pic",CURLFORM_FILE,"demo.jpg",CURLFORM_FILENAME,"upload.pic",51); font-family:Arial; font-size:14px; line-height:26px"> 4、添加file/contenttype section

    copy
    "image/jpeg",51); font-family:Arial; font-size:14px; line-height:26px">
    上面的post 和 last都是指向curl_httppost对象的指针， post指向的就是一个由所有section组成的链表的开端，last是该链表的尾指针。当我们添加完所有的form section之后，使用curl_easy_setopt(curl,CURLOPT_HTTPPOST,post)函数设置curl的http post，最后就是调用curl_easy_perform执行请求。需要注意的是，当使用libcurl的POST方式时，如果POST数据的大小大于1024个字节，libcurl不会直接发送POST请求，而是会分为两步执行请求：
    1、发送一个请求，该请求头部包含一个Expect： 100-continue的字段，用来询问server是否愿意接受数据
    2、当接收到从server返回的100-continue的应答后，它才会真正的发起POST请求，将数据发送给server。
    对于文件上传来说，文件大小往往会超过1024个字节，所以如果你确认你的服务器不会拒绝你的文件上传请求的话，可以禁止curl的Expect请求头，具体方法可以去看看我的另外一篇文章《libcurl的使用问题“Expect100-continue” 》。

    最后附上curl官网上提供的文件上传例子:

    copy
      /*Thisisanexampleapplicationsourcecodeusingthemultiinterface
    1. *todoamultipartformpostwithout"blocking".*/
    2. #include<stdio.h>
    3. #include<string.h>
    4. #include<curl/curl.h>
    5. intmain(void)
    6. CURL*curl;
    7. CURLM*multi_handle;
    8. intstill_running;
    9. structcurl_httppost*formpost=NULL;
    10. structcurl_httppost*lastptr=NULL;
    11. structcurl_slist*headerlist=NULL;
    12. staticconstcharbuf[]="Expect:";
    13. /*Fillinthefileuploadfield.Thismakeslibcurlloaddatafrom
    14. thegivenfilenamewhencurl_easy_perform()iscalled.*/
    15. curl_formadd(&formpost,248); line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> &lastptr,
    16. CURLFORM_COPYNAME,"sendfile",248); line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLFORM_FILE,"postit2.c",108); list-style:decimal-leading-zero outside; color:inherit; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLFORM_END);
    17. /*Fillinthefilenamefield*/
    18. curl_formadd(&formpost,108); list-style:decimal-leading-zero outside; color:inherit; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> &lastptr,248); line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLFORM_COPYNAME,"filename",108); list-style:decimal-leading-zero outside; color:inherit; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLFORM_COPYCONTENTS,248); line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLFORM_END);
    19. /*Fillinthesubmitfieldtoo,evenifthisisrarelyneeded*/
    20. "submit",248); line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> CURLFORM_COPYCONTENTS,"send",108); list-style:decimal-leading-zero outside; color:inherit; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> curl=curl_easy_init();
    21. multi_handle=curl_multi_init();
    22. /*initalizecustomheaderlist(statingthatExpect:100-continueisnot
    23. wanted*/
    24. headerlist=curl_slist_append(headerlist,buf);
    25. if(curl&&multi_handle){
    26. /*whatURLthatreceivesthisPOST*/
    27. "http://www.example.com/upload.cgi");
    29. curl_multi_add_handle(multi_handle,curl);
    30. curl_multi_perform(multi_handle,&still_running);
    31. do{
    32. structtimevaltimeout;
    33. intrc;/*select()returncode*/
    34. fd_setfdread;
    35. fd_setfdwrite;
    36. fd_setfdexcep;
    37. intmaxfd=-1;
    38. longcurl_timeo=-1;
    39. FD_ZERO(&fdread);
    40. FD_ZERO(&fdwrite);
    41. FD_ZERO(&fdexcep);
    42. /*setasuitabletimeouttoplayaroundwith*/
    43. timeout.tv_sec=1;
    44. timeout.tv_usec=0;
    45. curl_multi_timeout(multi_handle,&curl_timeo);
    46. if(curl_timeo>=0){
    47. timeout.tv_sec=curl_timeo/1000;
    48. if(timeout.tv_sec>1)
    49. timeout.tv_sec=1;
    50. timeout.tv_usec=(curl_timeo%1000)*1000;
    51. /*getfiledescriptorsfromthetransfers*/
    52. curl_multi_fdset(multi_handle,&fdread,&fdwrite,&fdexcep,&maxfd);
    53. /*Inareal-worldprogramyouOFCOURSEcheckthereturncodeofthe
    54. functioncalls.Onsuccess,thevalueofmaxfdisguaranteedtobe
    55. greaterorequalthan-1.Wecallselect(maxfd+1,...),speciallyin
    56. caSEOf(maxfd==-1),wecallselect(0,whichisbasicallyequal
    57. tosleep.*/
    58. rc=select(maxfd+1,&timeout);
    59. switch(rc){
    60. case-1:
    61. /*selecterror*/
    62. default:
    63. /*timeoutorreadable/writablesockets*/
    64. printf("perform!\n");
    65. curl_multi_perform(multi_handle,&still_running);
    66. printf("running:%d!\n",still_running);
    67. }while(still_running);
    68. curl_multi_cleanup(multi_handle);
    69. /*alwayscleanup*/
    70. curl_easy_cleanup(curl);
    71. /*thencleanuptheformpostchain*/
    72. curl_formfree(formpost);
    73. /*freeslist*/
    74. curl_slist_free_all(headerlist);
    75. }

    猜你在找的Cocos2d-x相关文章

    创建自定义的Cocos2d-x场景
    操作步骤 1、创建cocos2d-x工程 2、新建 Scene1.cpp Scene1.h Scene1.h代码 #ifndef __SCE...
    给vs2010安装上cocos2d-x的模版
    开发环境：OS(WINDOWS 8.1 X64 企业版) cocos2d-x 2.2.1 vs2010 想给vs安装上cocos的模版，...
    Python创建Cocos2d-x 2.2方法
    把创建项目做成一个批处理，当创建项目时可以省时省力很多。 操作步骤 1、在 E:cocos2d-x-...
    cocos2dx 物理碰撞
    https://www.cnblogs.com/JiaoQing/p/3906780.html 四个响应函数 1 EventListenerPhysics...
    cocos2d-js 自定义事件监听派发
    转载于 http://www.cnblogs.com/kenkofox/p/3926797.html 熟悉js的dom事件或者flash事件的...
    cocos常用 实用 公共函数 lua代码
    公共资源加载，缓存retain；防止被自动销毁 2. 数字滚动递增；用于得奖后，总金币跳动增加...
    cocos creator box2d
    title Map 使用box2d var sfloors = this.tiledMap.getObjectGroup(‘Special_Floor‘).g...
    （转）让quick-cocos2d-x支持加密的plist文件
    前篇：quick-cocos2d-x图片资源加密 在前篇里面，我们实现了图片资源的加密，但还没有实现...
    （转）quick-cocos2d-x图片资源加密(续)
    摘要: 对在quick-cocos2d-x上实现的资源加密方法的补充 前篇： quick-cocos2d-x图片资源加...
    Cocos Creator 动态改变sprite图片
    首先将存放图片最外层文件夹命名为resources 　　 changeBj: function(){ 　　　　var url...
    iOSAndroidSwiftHybridCocos2d-xFlutterXcodeSilverlightcocoaCordova
    调试桥筛选栏假异步不会丢失AndPermissio权限申请抽屉式systemUI信号栏多行排列跨多行显示viewmode数据共享录制语音视频通话多行显示Studio3.5拉伸控件望远镜发动态走势图点赞控件显示牌冷启动v3签名v2签名v1签名本地html外接键盘流式标签