【GStreamer开发】GStreamer基础教程08——pipeline的快捷访问

设计模式 前端之家
前端之家收集整理的这篇文章主要介绍了【GStreamer开发】GStreamer基础教程08——pipeline的快捷访问，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

目标

GStreamer建立的pipeline不需要完全关闭。有多种方法可以让数据在任何时候送到pipeline中或者从pipeline中取出。本教程会展示：

如何把外部数据送到pipeline中

如何把数据从pipeline中取出

如何操作这些数据


介绍

有几种方法可以让应用通过pipeline和数据流交互。本教程讲述了最简单的一种，因为使用了专门为这个而创建的element。

专门让应用可以往pipeline里面传入数据的element时appsrc，而appsink就正好相反，让应用可以从pipeline中获得数据。为了避免混淆，我们可以这么来理解，appsrc是一个普通的source element，不过它的数据都是来自外太空，而appsink是一个普通的sink element，数据从这里出去的就消失不见了。

appsrc和appsink用得非常多，所以他们都自己提供API，你只要连接了gstreamer-app库，那么就可以访问到。在本教程里，我们会使用一种简单地方法通过信号来实现。

appsrc可以有不同的工作模式：在pull模式，在需要时向应用请求数据；在push模式，应用根据自己的节奏把数据推送过来。而且，在push模式，如果已经有了足够的数据，应用可以在push时被阻塞，或者可以经由enough-data和need-data信号来控制。本教程中得例子就采用了这种信号控制的方式，其他没有提及的方法可以在appsrc的文档中查阅。

Buffers

通过pipeline传递的大块数据被称为buffers。因为本例子会制造数据同时也消耗数据，所以我们需要了解GstBuffer。

Source Pads负责制造buffer，这些buffer被sink pad消耗掉。GStreamer在一个个element之间传递这些buffer。

一个buffer只能简单地描述一小片数据，不要认为我们所有的buffer都是一样大小的。而且，buffer有一个时间戳和有效期，这个就描述了什么时候buffer里的数据需要渲染出来。时间戳是个非常复杂和精深的话题，但目前这个简单地解释也足够了。

作为一个例子，一个filesrc会提供“ANY”属性的buffers并且没有时间戳信息。在demux（《GStreamer基础教程03——动态pipeline》）之后，buffers会有一些特定的cap了，比如"video/x-h264"，在解码后，每一个buffer都会包含一帧有原始caps的视频帧（比如：video/x-raw-yuv），并且有非常明确地时间戳用来指示这一帧在什么时候显示。

教程

本教程是上一篇教程（《GStreamer基础教程07——多线程和Pad的有效性》）在两个方面的扩展：第一是用appsrc来取代audiotestsrc来生成音频数据；第二是在tee里新加了一个分支，这样流入audio sink和波形显示的数据同样复制了一份传给appsink。这个appsink就把信息回传给应用，应用就可以通知用户收到了数据或者做其他更复杂的工作。

一个粗糙的波形发生器

[objc]view plaincopy
  1. #include<gst/gst.h>
  2. #include<string.h>
  4. #defineCHUNK_SIZE1024/*Amountofbyteswearesendingineachbuffer*/
  5. #defineSAMPLE_RATE44100/*Samplespersecondwearesending*/
  6. #defineAUdio_CAPS"audio/x-raw-int,channels=1,rate=%d,signed=(boolean)true,width=16,depth=16,endianness=BYTE_ORDER"
  7. /*Structuretocontainallourinformation,sowecanpassittocallbacks*/
  8. typedefstruct_CustomData{
  9. GstElement*pipeline,*app_source,*tee,*audio_queue,*audio_convert1,*audio_resample,*audio_sink;
  10. GstElement*video_queue,*audio_convert2,*visual,*video_convert,*video_sink;
  11. GstElement*app_queue,*app_sink;
  12. guint64num_samples;/*Numberofsamplesgeneratedsofar(fortimestampgeneration)*/
  13. gfloata,b,c,d;/*Forwaveformgeneration*/
  15. guintsourceid;/*TocontroltheGSource*/
  16. GMainLoop*main_loop;/*GLib'sMainLoop*/
  17. }CustomData;
  18. /*ThismethodiscalledbytheidleGSourceinthemainloop,toFeedCHUNK_SIZEbytesintoappsrc.
  19. *Theidlehandlerisaddedtothemainloopwhenappsrcrequestsustostartsendingdata(need-datasignal)
  20. *andisremovedwhenappsrchasenoughdata(enough-datasignal).
  21. */
  22. staticgbooleanpush_data(CustomData*data){
  23. GstBuffer*buffer;
  24. GstFlowReturnret;
  25. inti;
  26. gint16*raw;
  27. gintnum_samples=CHUNK_SIZE/2;/*Becauseeachsampleis16bits*/
  28. gfloatfreq;
  29. /*Createanewemptybuffer*/
  30. buffer=gst_buffer_new_and_alloc(CHUNK_SIZE);
  31. /*Setitstimestampandduration*/
  32. GST_BUFFER_TIMESTAMP(buffer)=gst_util_uint64_scale(data->num_samples,GST_SECOND,SAMPLE_RATE);
  33. GST_BUFFER_DURATION(buffer)=gst_util_uint64_scale(CHUNK_SIZE,SAMPLE_RATE);
  34. /*Generatesomepsychodelicwaveforms*/
  35. raw=(gint16*)GST_BUFFER_DATA(buffer);
  36. data->c+=data->d;
  37. data->d-=data->c/1000;
  38. freq=1100+11000*data->d;
  39. for(i=0;i<num_samples;i++){
  40. data->a+=data->b;
  41. data->b-=data->a/freq;
  42. raw[i]=(gint16)(5500*data->a);
  43. }
  44. data->num_samples+=num_samples;
  45. /*Pushthebufferintotheappsrc*/
  46. g_signal_emit_by_name(data->app_source,"push-buffer",buffer,&ret);
  47. /*Freethebuffernowthatwearedonewithit*/
  48. gst_buffer_unref(buffer);
  49. if(ret!=GST_FLOW_OK){
  50. /*Wegotsomeerror,stopsendingdata*/
  51. returnFALSE;
  52. returnTRUE;
  53. }
  54. /*Thissignalcallbacktriggerswhenappsrcneedsdata.Here,weaddanidlehandler
  55. *tothemainlooptostartpushingdataintotheappsrc*/
  56. staticvoidstart_Feed(GstElement*source,guintsize,CustomData*data){
  57. if(data->sourceid==0){
  58. g_print("StartFeeding\n");
  59. data->sourceid=g_idle_add((GSourceFunc)push_data,data);
  60. /*Thiscallbacktriggerswhenappsrchasenoughdataandwecanstopsending.
  61. *Weremovetheidlehandlerfromthemainloop*/
  62. staticvoidstop_Feed(GstElement*source,CustomData*data){
  63. if(data->sourceid!=0){
  64. g_print("StopFeeding\n");
  65. g_source_remove(data->sourceid);
  66. data->sourceid=0;
  67. /*Theappsinkhasreceivedabuffer*/
  68. staticvoidnew_buffer(GstElement*sink,0)">GstBuffer*buffer;
  69. /*Retrievethebuffer*/
  70. g_signal_emit_by_name(sink,"pull-buffer",&buffer);
  71. if(buffer){
  72. /*Theonlythingwedointhisexampleisprinta*toindicateareceivedbuffer*/
  73. g_print("*");
  74. /*Thisfunctioniscalledwhenanerrormessageispostedonthebus*/
  75. staticvoiderror_cb(GstBus*bus,GstMessage*msg,0)">GError*err;
  76. gchar*debug_info;
  77. /*Printerrordetailsonthescreen*/
  78. gst_message_parse_error(msg,&err,&debug_info);
  79. g_printerr("Errorreceivedfromelement%s:%s\n",GST_OBJECT_NAME(msg->src),err->message);
  80. g_printerr("Debugginginformation:%s\n",debug_info?debug_info:"none");
  81. g_clear_error(&err);
  82. g_free(debug_info);
  83. g_main_loop_quit(data->main_loop);
  84. intmain(intargc,charchar*argv[]){
  85. CustomDatadata;
  86. GstPadTemplate*tee_src_pad_template;
  87. GstPad*tee_audio_pad,*tee_video_pad,*tee_app_pad;
  88. GstPad*queue_audio_pad,*queue_video_pad,*queue_app_pad;
  89. gchar*audio_caps_text;
  90. GstCaps*audio_caps;
  91. GstBus*bus;
  92. /*Initializecumstomdatastructure*/
  93. memset(&data,0,sizeof(data));
  94. data.b=1;/*Forwaveformgeneration*/
  95. data.d=1;
  96. /*InitializeGStreamer*/
  97. gst_init(&argc,&argv);
  98. /*Createtheelements*/
  99. data.app_source=gst_element_factory_make("appsrc","audio_source");
  100. data.tee=gst_element_factory_make("tee","tee");
  101. data.audio_queue=gst_element_factory_make("queue","audio_queue");
  102. data.audio_convert1=gst_element_factory_make("audioconvert","audio_convert1");
  103. data.audio_resample=gst_element_factory_make("audioresample","audio_resample");
  104. data.audio_sink=gst_element_factory_make("autoaudiosink","audio_sink");
  105. data.video_queue=gst_element_factory_make("queue","video_queue");
  106. data.audio_convert2=gst_element_factory_make("audioconvert","audio_convert2");
  107. data.visual=gst_element_factory_make("wavescope","visual");
  108. data.video_convert=gst_element_factory_make("ffmpegcolorspace","csp");
  109. data.video_sink=gst_element_factory_make("autovideosink","video_sink");
  110. data.app_queue=gst_element_factory_make("queue","app_queue");
  111. data.app_sink=gst_element_factory_make("appsink","app_sink");
  112. /*Createtheemptypipeline*/
  113. data.pipeline=gst_pipeline_new("test-pipeline");
  114. if(!data.pipeline||!data.app_source||!data.tee||!data.audio_queue||!data.audio_convert1||
  115. !data.audio_resample||!data.audio_sink||!data.video_queue||!data.audio_convert2||!data.visual||
  116. !data.video_convert||!data.video_sink||!data.app_queue||!data.app_sink){
  117. g_printerr("Notallelementscouldbecreated.\n");
  118. return-1;
  119. /*Configurewavescope*/
  120. g_object_set(data.visual,"shader",0,"style",NULL);
  121. /*Configureappsrc*/
  122. audio_caps_text=g_strdup_printf(AUdio_CAPS,SAMPLE_RATE);
  123. audio_caps=gst_caps_from_string(audio_caps_text);
  124. g_object_set(data.app_source,"caps",audio_caps,NULL);
  125. g_signal_connect(data.app_source,"need-data",G_CALLBACK(start_Feed),&data);
  126. "enough-data",G_CALLBACK(stop_Feed),&data);
  127. /*Configureappsink*/
  128. g_object_set(data.app_sink,"emit-signals",TRUE,0)">g_signal_connect(data.app_sink,"new-buffer",G_CALLBACK(new_buffer),0)">gst_caps_unref(audio_caps);
  129. g_free(audio_caps_text);
  130. /*Linkallelementsthatcanbeautomaticallylinkedbecausetheyhave"Always"pads*/
  131. gst_bin_add_many(GST_BIN(data.pipeline),data.app_source,data.tee,data.audio_queue,data.audio_convert1,data.audio_resample,
  132. data.audio_sink,data.video_queue,data.audio_convert2,data.visual,data.video_convert,data.video_sink,data.app_queue,
  133. data.app_sink,0)">if(gst_element_link_many(data.app_source,NULL)!=TRUE||
  134. gst_element_link_many(data.audio_queue,data.audio_sink,NULL)!=TRUE||
  135. gst_element_link_many(data.video_queue,0)">gst_element_link_many(data.app_queue,data.app_sink,NULL)!=TRUE){
  136. g_printerr("Elementscouldnotbelinked.\n");
  137. gst_object_unref(data.pipeline);
  138. return-1;
  139. /*ManuallylinktheTee,whichhas"Request"pads*/
  140. tee_src_pad_template=gst_element_class_get_pad_template(GST_ELEMENT_GET_CLASS(data.tee),"src%d");
  141. tee_audio_pad=gst_element_request_pad(data.tee,tee_src_pad_template,NULL,0)">g_print("Obtainedrequestpad%sforaudiobranch.\n",gst_pad_get_name(tee_audio_pad));
  142. queue_audio_pad=gst_element_get_static_pad(data.audio_queue,"sink");
  143. tee_video_pad=gst_element_request_pad(data.tee,0)">g_print("Obtainedrequestpad%sforvideobranch.\n",gst_pad_get_name(tee_video_pad));
  144. queue_video_pad=gst_element_get_static_pad(data.video_queue,"sink");
  145. tee_app_pad=gst_element_request_pad(data.tee,0)">g_print("Obtainedrequestpad%sforappbranch.\n",gst_pad_get_name(tee_app_pad));
  146. queue_app_pad=gst_element_get_static_pad(data.app_queue,0)">if(gst_pad_link(tee_audio_pad,queue_audio_pad)!=GST_PAD_LINK_OK||
  147. gst_pad_link(tee_video_pad,queue_video_pad)!=GST_PAD_LINK_OK||
  148. gst_pad_link(tee_app_pad,queue_app_pad)!=GST_PAD_LINK_OK){
  149. g_printerr("Teecouldnotbelinked\n");
  150. gst_object_unref(data.pipeline);
  151. gst_object_unref(queue_audio_pad);
  152. gst_object_unref(queue_video_pad);
  153. gst_object_unref(queue_app_pad);
  154. /*Instructthebustoemitsignalsforeachreceivedmessage,andconnecttotheinterestingsignals*/
  155. bus=gst_element_get_bus(data.pipeline);
  156. gst_bus_add_signal_watch(bus);
  157. g_signal_connect(G_OBJECT(bus),"message::error",(GCallback)error_cb,0)">gst_object_unref(bus);
  158. /*Startplayingthepipeline*/
  159. gst_element_set_state(data.pipeline,GST_STATE_PLAYING);
  160. /*CreateaGLibMainLoopandsetittorun*/
  161. data.main_loop=g_main_loop_new(NULL,FALSE);
  162. g_main_loop_run(data.main_loop);
  163. /*ReleasetherequestpadsfromtheTee,andunrefthem*/
  164. gst_element_release_request_pad(data.tee,tee_audio_pad);
  165. gst_object_unref(tee_audio_pad);
  166. gst_object_unref(tee_video_pad);
  167. gst_object_unref(tee_app_pad);
  168. /*Freeresources*/
  169. return0;
  170. }

工作流程

创建pipeline段的代码就是上一篇的教程中得例子的扩大版。包括初始或所有的element，连接有Always Pad的element然后手动连接tee element的Request Pad。

下面我们关注一下appsrc和appsink这两个element的配置：

[objc]view plaincopy
appsrc里面第一个需要关注的属性是caps。它说明了element准备生成的数据的类型，这样GStreamer就可以检查下游的element看看是否支持。这个属性必须是一个GstCaps对象，这个对象可以很方便的由gst_caps_from_string()来生成。

然后我们把need-data和enough-data信号和回调连接起来，这样在appsrc内部的队列里面数据不足或将要满地时候会发送信号，我们就用这些信号来启动/停止我们的信号发生过程。

[objc]view plaincopy
/*Configureappsink*/
  • gst_caps_unref(audio_caps);
  • g_free(audio_caps_text);
    • 关于appsink的配置，我们连接了new-buffer的信号，这个信号在每次收到buffer的时候发出。当然，这个信号的发出需要emit-signals这个信号属性被开启（默认是关闭的）。

    启动pipeline，等到消息和最后的清理资源都和以前的没什么区别。让我们关注我们刚刚注册的回调吧。

    [objc]view plaincopy
    这个函数在appsrc内部队列将要空的时候调用，在这里我们做的事情仅仅是用g_idle_add()方法注册一个GLib的idle函数，这个函数会给appsrc输入数据知道内部队列满为止。一个GLib的idle函数是一个GLib在主循环在“idle”时会调用的方法，也就是说，当时没有更高优先级的任务运行。

    这只是appsrc多种发出数据方法中的一个。特别需要指出的是，buffer不是必须要在主线程中用GLib方法来传递给appsrc的，你也不是一定要用need-data和enough-data信号来同步appsrc的（据说这样最方便）。

    我们记录下g_idle_add()的返回的sourceid，这样后面可以关掉它。

    [objc]view plaincopy
    /*Thiscallbacktriggerswhenappsrchasenoughdataandwecanstopsending.
  • *Weremovetheidlehandlerfromthemainloop*/
  • if(data->sourceid!=0){
  • g_print("StopFeeding\n");
  • g_source_remove(data->sourceid);
  • data->sourceid=0;
  • 这个函数当appsrc内部的队列满的时候调用，所以我们需要停止发送数据。这里我们简单地用g_source_remove()来把idle函数移走。

    [objc]view plaincopy
    FeedCHUNK_SIZEbytesintoappsrc.
  • *Theidlehandlerisaddedtothemainloopwhenappsrcrequestsustostartsendingdata(need-datasignal)
  • *andisremovedwhenappsrchasenoughdata(enough-datasignal).
  • */
  • staticgbooleanpush_data(CustomData*data){
  • GstFlowReturnret;
  • inti;
  • gint16*raw;
  • gintnum_samples=CHUNK_SIZE/2;/*Becauseeachsampleis16bits*/
  • gfloatfreq;
  • /*Createanewemptybuffer*/
  • buffer=gst_buffer_new_and_alloc(CHUNK_SIZE);
  • /*Setitstimestampandduration*/
  • /*Generatesomepsychodelicwaveforms*/
  • raw=(gint16*)GST_BUFFER_DATA(buffer);
    • 这个函数给appsrc发送数据。它被GLib调用的次数和频率我们不加以控制，但我们会在它任务完成时关闭它（appsrc内部队列满）。

    这里第一步是用gst_buffer_new_and_alloc()方法和给定的大小创建一个新buffer（例子中是1024字节）。

    我们计算我们生成的采样数据的数据量，把数据存在CustomData.num_samples里面，这样我们可以用GstBuffer提供的GST_BUFFER_TIMESTAMP宏来生成buffer的时间戳。

    gst_util_uint64_scale是一个工具函数，用来缩放数据，确保不会溢出。

    这些给buffer的数据可以用GstBuffer提供的GST_BUFFER_DATA宏来访问。

    我们会跳过波形的生成部分，因为这不是本教程要讲述的内容。

    [objc]view plaincopy
    gst_buffer_unref(buffer);
    一旦我们的buffer已经准备好，我们把带着这个buffer的push-buffer信号传给appsrc，然后就调用gst_buffer_unref()方法，因为我们不会再用到它了。

    [objc]view plaincopy
    /*Theappsinkhasreceivedabuffer*/
  • /*Retrievethebuffer*/
  • if(buffer){
  • /*Theonlythingwedointhisexampleisprinta*toindicateareceivedbuffer*/
  • g_print("*");
  • gst_buffer_unref(buffer);
  • 最后，这个函数在appsink收到buffer时被调用。我们使用了pull-buffer的信号来重新获得buffer，因为是例子，所以仅仅在屏幕上打印一些内容。我们可以用GstBuffer的GST_BUFFER_DATA宏来获得数据指针和用GST_BUFFER_SIZE宏来获得数据大小。请记住，这里的buffer不是一定要和我们在push_data函数里面创建的buffer完全一致的，在传输路径上得任何一个element都可能对buffer进行一些改变。（这个例子中仅仅是在appsrc和appsink中间通过一个tee element，所以buffer没有变化）。

    请不要忘记调用gst_buffer_unref()来释放buffer，就讲这么多吧。

    原文链接：https://www.f2er.com/javaschema/283319.html

    • 猜你在找的设计模式相关文章

    适配器模式-让不兼容的接口得以适配
    适配器模式将一个类的接口转换成客户期望的另一个接口，使得原本接口不兼容的类可以相互合...
    策略模式-定义一个算法族
    策略模式定义了一系列算法族，并封装在类中，它们之间可以互相替换，此模式让算法的变化独...
    设计模式之高质量代码
    设计模式讲的是如何编写可扩展、可维护、可读的高质量代码，它是针对软件开发中经常遇到的...
    模板方法模式-封装一套算法流程
    模板方法模式在一个方法中定义一个算法的骨架，而将一些步骤延迟到子类中，使得子类可以在...
    迭代器模式-统一集合的遍历方式
    迭代器模式提供了一种方法，用于遍历集合对象中的元素，而又不暴露其内部的细节。
    单例模式的五种实现方式及优缺点
    单例模式（Singleton Design Pattern）保证一个类只能有一个实例，并提供一个全局访问点。
    组合模式-统一的处理个别对象与组合对象
    组合模式可以将对象组合成树形结构来表示“整体-部分”的层次结构，使得客户可以用一致的方...
    装饰者模式-动态的包装原有对象的行为
    装饰者模式能够更灵活的，动态的给对象添加其它功能，而不需要修改任何现有的底层代码。
    观察者模式-将消息通知给观察者
    观察者模式（Observer Design Pattern）定义了对象之间的一对多依赖，当对象状态改变的时候...
    代理模式-访问对象的代理而非其本身
    代理模式为对象提供一个代理，来控制对该对象的访问。代理模式在不改变原始类代码的情况下...
    算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
    受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript