【GStreamer开发】GStreamer基础教程03——动态pipeline

设计模式 前端之家
前端之家收集整理的这篇文章主要介绍了【GStreamer开发】GStreamer基础教程03——动态pipeline，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

本教程介绍pipeline的一种新的创建方式——在运行中创建，而不是在运行前一次性的创建结束。

介绍

在这篇教程里的pipeline并非在运行前就全部创建结束的。放松一下，这样做没有任何问题。如果我们不进行更深入的处理，那么数据在到达pipeline的末尾时就直接丢弃了，当然，我们肯定会进行深入处理的。。。

在这个例子中，我们会打开一个已经包含了音视频的文件（Containerfile）。负责打开这样的容器文件的element叫做demuxer，我们常见的容器格式包括MKV、QT、MOV、Ogg还有ASF、WMV、WMA等等。

在一个容器中可能包含多个流（比如：一路视频，两路音频），demuxer会把他们分离开来，然后从不同的输出口送出来。这样在pipeline里面的不同的分支可以处理不同的数据。

在GStreamer里面有个术语描述这样的接口——pad（GstPad）。Pad分成sink pad——数据从这里进入一个element——和source pad——数据从这里流出element。很自然的，source element仅包含source pad，sink element仅包含sink pad，而过滤器两种pad都包含。


一个demuxer包含一个sink pad和多个source pad，数据从sink pad输入然后每个流都有一个source pad。

为了完整起见，给出一张示意图，图中有一个demuxer和两个分支，一个处理音频一个处理视频。请注意，这不是本教程pipeline的示意图。

这里主要复杂在demuxer在没有看到容器文件之前无法确定需要做的工作，不能生成对应的内容。也就是说，demuxer开始时是没有source pad给其他element连接用的。

解决方法是只管建立pipeline，让source和demuxer连接起来，然后开始运行。当demuxer接收到数据之后它就有了足够的信息生成source pad。这时我们就可以继续把其他部分和demuxer新生成的pad连接起来，生成一个完整的pipeline。

简单起见，在这个例子中，我们仅仅连接音频的pad而不处理视频的pad。

动态Hello World

[objc]view plaincopy
  1. #include<gst/gst.h>
  3. /*Structuretocontainallourinformation,sowecanpassittocallbacks*/
  4. typedefstruct_CustomData{
  5. GstElement*pipeline;
  6. GstElement*source;
  7. GstElement*convert;
  8. GstElement*sink;
  9. }CustomData;
  10. /*Handlerforthepad-addedsignal*/
  11. staticvoidpad_added_handler(GstElement*src,GstPad*pad,CustomData*data);
  13. intmain(intargc,charchar*argv[]){
  14. CustomDatadata;
  15. GstBus*bus;
  16. GstMessage*msg;
  17. GstStateChangeReturnret;
  18. gbooleanterminate=FALSE;
  19. /*InitializeGStreamer*/
  20. gst_init(&argc,&argv);
  21. /*Createtheelements*/
  22. data.source=gst_element_factory_make("uridecodebin","source");
  23. data.convert=gst_element_factory_make("audioconvert","convert");
  24. data.sink=gst_element_factory_make("autoaudiosink","sink");
  25. /*Createtheemptypipeline*/
  26. data.pipeline=gst_pipeline_new("test-pipeline");
  27. if(!data.pipeline||!data.source||!data.convert||!data.sink){
  28. g_printerr("Notallelementscouldbecreated.\n");
  29. return-1;
  30. }
  31. /*Buildthepipeline.NotethatweareNOTlinkingthesourceatthis
  32. *point.Wewilldoitlater.*/
  33. gst_bin_add_many(GST_BIN(data.pipeline),data.source,data.convert,data.sink,NULL);
  34. if(!gst_element_link(data.convert,data.sink)){
  35. g_printerr("Elementscouldnotbelinked.\n");
  36. gst_object_unref(data.pipeline);
  37. return-1;
  38. }
  39. /*SettheURItoplay*/
  40. g_object_set(data.source,"uri","http://docs.gstreamer.com/media/sintel_trailer-480p.webm",0)">/*Connecttothepad-addedsignal*/
  41. g_signal_connect(data.source,"pad-added",G_CALLBACK(pad_added_handler),&data);
  42. /*Startplaying*/
  43. ret=gst_element_set_state(data.pipeline,GST_STATE_PLAYING);
  44. if(ret==GST_STATE_CHANGE_FAILURE){
  45. g_printerr("Unabletosetthepipelinetotheplayingstate.\n");
  46. /*Listentothebus*/
  47. bus=gst_element_get_bus(data.pipeline);
  48. do{
  49. msg=gst_bus_timed_pop_filtered(bus,GST_CLOCK_TIME_NONE,
  50. GST_MESSAGE_STATE_CHANGED|GST_MESSAGE_ERROR|GST_MESSAGE_EOS);
  51. /*Parsemessage*/
  52. if(msg!=NULL){
  53. GError*err;
  54. gchar*debug_info;
  55. switch(GST_MESSAGE_TYPE(msg)){
  56. caseGST_MESSAGE_ERROR:
  57. gst_message_parse_error(msg,&err,&debug_info);
  58. g_printerr("Errorreceivedfromelement%s:%s\n",GST_OBJECT_NAME(msg->src),err->message);
  59. g_printerr("Debugginginformation:%s\n",debug_info?debug_info:"none");
  60. g_clear_error(&err);
  61. g_free(debug_info);
  62. terminate=TRUE;
  63. break;
  64. caseGST_MESSAGE_EOS:
  65. g_print("End-Of-Streamreached.\n");
  66. caseGST_MESSAGE_STATE_CHANGED:
  67. /*Weareonlyinterestedinstate-changedmessagesfromthepipeline*/
  68. if(GST_MESSAGE_SRC(msg)==GST_OBJECT(data.pipeline)){
  69. GstStateold_state,new_state,pending_state;
  70. gst_message_parse_state_changed(msg,&old_state,&new_state,&pending_state);
  71. g_print("Pipelinestatechangedfrom%sto%s:\n",
  72. gst_element_state_get_name(old_state),gst_element_state_get_name(new_state));
  73. break;
  74. default:
  75. /*Weshouldnotreachhere*/
  76. g_printerr("Unexpectedmessagereceived.\n");
  77. gst_message_unref(msg);
  78. }while(!terminate);
  79. /*Freeresources*/
  80. gst_object_unref(bus);
  81. gst_element_set_state(data.pipeline,GST_STATE_NULL);
  82. gst_object_unref(data.pipeline);
  83. return0;
  84. /*Thisfunctionwillbecalledbythepad-addedsignal*/
  85. GstPad*new_pad,CustomData*data){
  86. GstPad*sink_pad=gst_element_get_static_pad(data->convert,0)">GstPadLinkReturnret;
  87. GstCaps*new_pad_caps=NULL;
  88. GstStructure*new_pad_struct=NULL;
  89. constgchar*new_pad_type=NULL;
  90. g_print("Receivednewpad'%s'from'%s':\n",GST_PAD_NAME(new_pad),GST_ELEMENT_NAME(src));
  91. /*Ifourconverterisalreadylinked,wehavenothingtodohere*/
  92. if(gst_pad_is_linked(sink_pad)){
  93. g_print("Wearealreadylinked.Ignoring.\n");
  94. gotoexit;
  95. /*Checkthenewpad'stype*/
  96. new_pad_caps=gst_pad_get_caps(new_pad);
  97. new_pad_struct=gst_caps_get_structure(new_pad_caps,0);
  98. new_pad_type=gst_structure_get_name(new_pad_struct);
  99. if(!g_str_has_prefix(new_pad_type,"audio/x-raw")){
  100. g_print("Ithastype'%s'whichisnotrawaudio.Ignoring.\n",new_pad_type);
  101. gotoexit;
  102. /*Attemptthelink*/
  103. ret=gst_pad_link(new_pad,sink_pad);
  104. if(GST_PAD_LINK_Failed(ret)){
  105. g_print("Typeis'%s'butlinkFailed.\n",new_pad_type);
  106. }else{
  107. g_print("Linksucceeded(type'%s').\n",0)">exit:
  108. /*Unreferencethenewpad'scaps,ifwegotthem*/
  109. if(new_pad_caps!=NULL)
  110. gst_caps_unref(new_pad_caps);
  111. /*Unreferencethesinkpad*/
  112. gst_object_unref(sink_pad);
  113. }

工作流程

[objc]view plaincopy
}CustomData;
在这里我们存下了所有需要的局部变量，因为本教程中会有回调函数，所以我们把所有的数据组织成一个struct，这样比较方便调用。

[objc]view plaincopy
CustomData*data);
这是一个声明，后面会使用这个API。

[objc]view plaincopy
/*Createtheelements*/
  • "source");
  • "convert");
  • "sink");

    • 我们像前面一样创建一个个element。uridecodebin自己会在内部初始化必要的element，然后把一个URI变成一个原始音视频流输出，它差不多做了playbin2的一半工作。因为它自己带着demuxer，所以它的source pad没有初始化，我们等会会用到。

    audioconvert在不同的音频格式转换时很有用。这里用这个element是为了确保应用的平台无关性。

    autoaudiosink和上一篇教程里面的autovideosink是非常相似的，只是操作的时音频流。这个element的输出就是直接送往声卡的音频流。

    [objc]view plaincopy
    .sink)){
  • g_printerr("Elementscouldnotbelinked.\n");
  • 这里我们把转换element和sink element连接起来，注意，我们没有把source连接起来——因为这个时候还没有source pad。我们把转换element和sink element连接起来后暂时就放在那里，等待后面在处理。

    [objc]view plaincopy
    /*SettheURItoplay*/
  • NULL);
    • 和我们在上一篇教程一样，我们把URI通过设置属性的方法设置好。

    信号

    [objc]view plaincopy
    GSignal是GStreamer的一个重要部分。它会让你在你感兴趣的事情发生时收到通知。信号是通过名字来区分的，每个GObject都有它自己的信号。

    在这段代码里面，我们使用g_signal_connect()方法把“pad-added”信号和我们的源（uridecodebin）联系了起来，并且注册了一个回调函数。GStreamer把&data这个指针的内容传给回调函数，这样CustomData这个数据结构中的数据也就传递了过去。

    这个信号是有GstElement产生的，可以在相关的文档中找到或者用gst-inspect方法来查到。

    我们现在准备开始运行了！和前面的教程一样，把pipeline置成PLAYING状态，然后开始监听ERROR或者EOS。

    回调函数

    当我们的source element最后获得足够的数据时，它就会自动生成source pad，并且触发“pad-added”信号。这样我们的回调就会被调用了：

    [objc]view plaincopy
    CustomData*data){
    src是触发这个信号的GstElement。在这个例子中，就是uridecodebin，也是我们唯一注册的一个信号。

    new_pad是加到src上的pad。通常来说，是我们需要连接的pad。

    data指针是跟随信号一起过来的参数，在这个例子中，我们传递的时CustomData指针。

    [objc]view plaincopy
    "sink");
    从CustomData我们可以获得转换element对象，然后使用gst_element_get_static_pad()方法可以获得sink pad。这个pad是我们希望和new_pad连接的pad。在前面的教程里，我们是用element和element连接的，让GStreamer自己来选择合适的pad。在这里，我们是手动的把两个pad直接连接起来。

    [objc]view plaincopy
    uridecodebin会自动创建许多的pad，对于每一个pad，这个回调函数都会被调用。上面这段代码可以防止连接多次。

    [objc]view plaincopy
    因为我们只处理生成的audio数据，所以我们要检查new pad输出的数据类型。我们前面创建了一部分处理音频的pipeline（convert+sink），没有生成处理视频的部分，所以我们只能处理音频数据。

    gst_pad_get_caps()方法会获得pad的capability（也就是pad支持的数据类型），是被封装起来的GstCaps结构。一个pad可以有多个capability，GstCaps可以包含多个GstStructure，每个都描述了一个不同的capability。

    在这个例子中，我们知道我们的pad需要的capability是声音，我们使用gst_caps_get_structure()方法来获得GstStructure。

    最后，我们用gst_structure_get_name()方法来获得structure的名字——最主要的描述部分。如果名字不是由audio/x-raw开始的，就意味着不是一个解码的音频数据，也就不是我们所需要的，反之，就是我们需要连接的：

    [objc]view plaincopy
    /*Attemptthelink*/
  • if(GST_PAD_LINK_Failed(ret)){
  • }else{
  • gst_pad_link()方法会把两个pad连接起来。就像gst_element_link()这个方法一样，连接必须是从source到sink，连接的两个pad必须在同一个bin里面。

    到这儿我们的任务就完成了，当一个合适的pad出现后，它会和后面的audio处理部分相连，然后继续运行直到ERROR或者EOS。下面，我们再介绍一点点GStreamer状态的概念。

    状态

    我们介绍过不把pipeline置成PLAYING状态，播放是不会开始的。这里我们继续介绍一下其他的几种状态，在GStreamer里面有4种状态：

    NULL NULL状态或者初始化状态
    READY element已经READY或者PAUSED
    PAUSED element已经PAUSED，准备接受数据
    PLAYING element在PLAYING，时钟在运行数据
    状态迁移只能在相邻的状态里迁移，也就是说，你不能从NULL一下跳到PLAYING。你必须经过READY和PAUSED状态。如果你把pipeline设到PLAYING状态，GStreamer自动会经过中间状态的过渡。

    [objc]view plaincopy
    caseGST_MESSAGE_STATE_CHANGED:
  • /*Weareonlyinterestedinstate-changedmessagesfromthepipeline*/
  • if(GST_MESSAGE_SRC(msg)==GST_OBJECT(data.pipeline)){
  • break;
    • 我们增加这段代码来监听总线上状态变化的情况，并且打印出相应的内容。虽然每个element都会把它的消息放到总线上，但我们只监听pipeline本身的。

    绝大多数应用都是在PLAYING状态开始播放，然后跳转到PAUSE状态来提供暂停功能，最后在退出时退到NULL状态。

    猜你在找的设计模式相关文章

    适配器模式-让不兼容的接口得以适配
    适配器模式将一个类的接口转换成客户期望的另一个接口，使得原本接口不兼容的类可以相互合...
    策略模式-定义一个算法族
    策略模式定义了一系列算法族，并封装在类中，它们之间可以互相替换，此模式让算法的变化独...
    设计模式之高质量代码
    设计模式讲的是如何编写可扩展、可维护、可读的高质量代码，它是针对软件开发中经常遇到的...
    模板方法模式-封装一套算法流程
    模板方法模式在一个方法中定义一个算法的骨架，而将一些步骤延迟到子类中，使得子类可以在...
    迭代器模式-统一集合的遍历方式
    迭代器模式提供了一种方法，用于遍历集合对象中的元素，而又不暴露其内部的细节。
    单例模式的五种实现方式及优缺点
    单例模式（Singleton Design Pattern）保证一个类只能有一个实例，并提供一个全局访问点。
    组合模式-统一的处理个别对象与组合对象
    组合模式可以将对象组合成树形结构来表示“整体-部分”的层次结构，使得客户可以用一致的方...
    装饰者模式-动态的包装原有对象的行为
    装饰者模式能够更灵活的，动态的给对象添加其它功能，而不需要修改任何现有的底层代码。
    观察者模式-将消息通知给观察者
    观察者模式（Observer Design Pattern）定义了对象之间的一对多依赖，当对象状态改变的时候...
    代理模式-访问对象的代理而非其本身
    代理模式为对象提供一个代理，来控制对该对象的访问。代理模式在不改变原始类代码的情况下...
    算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
    受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript