Gstreamer多路流同步

前端之家收集整理的这篇文章主要介绍了Gstreamer多路流同步前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

(Original: http://blog.csdn.net/niehanzi/article/details/6614841)

Gstreamer多路流同步(翻译自part-synchronisation.txt)


该篇文档描述了gstreamer多路流的同步技术的概要。
GstPipeline的同步用如下的3个组件完成:
1)GstClock,在GstPipeline中对所有元素来说是全局的。
2)GstBuffer的Timestamps。
3)在发送buffer(数据流)之前的NEW_SEGMENT。

A GstClock
~~~~~~~~~~
GstClock单位是纳秒,一个计数器,描述了当前的时间,该值也是绝对时间。
如下的几个源可以提供时间计数器:
1)系统时间,微妙级的精度,用g_get_current_time函数获取
2)音频设备(基于采样率)。
3)一个网络源,例如RTP源,RTP包中带有时间戳。
......
在Gstreamer中,任何元素提供的GstClock对象都可以用到pipeline中。GstPipeline对象将从时钟提供者中选择一个分发给所有其它的元素。
GstClock总是向上递增的,不一定要从0开始。
Running time
~~~~~~~~~~~~
当pipeline选择了一个时钟,它将基于选定的时钟维护running_time,running_time表示处于PLAYING状态的总的时间,按照如下方式计算:
1)如果pipeline的状态是NULL/READY,running_time是未定义的。
2)在PAUSED状态,running_time保持在暂停的时间。如果pipeline是第一次暂停,running_time是0。
3)在PLAYING状态,running_time是absolute_time和base_time的差值。当处于PLAYING状态时, base_time = absolute_time - running_time。
4)在执行了flushing seek,running_time被设置成0,base_time被重新设置,相当于重新开始。
当pipeline从PLAYING -> PAUSED状态时,保存住running_time;当恢复成PLAYING状态时,重新开始计算running_time。当pipeline是PAUSED状态时,不论选定时钟是否继续稳步增加,都不会影响到running_time的计算。
时钟和pipeline用running_time为所有的元素进行同步。在PLAYING状态下,running_time能够在每一个元素中被观察到,计算公式如下:
C.running_time = absolute_time - base_time
C.running_time也就是running_time,该值以时钟的速率单调递增。
Timestamps
GstBuffer timestamps和在buffer(数据流)之前的NEW_SEGMENT event定义了一个转换从buffer timestamps到running_time,计算如下:
定义:
B.running_time:running_time
B: GstBuffer
- B.timestamp:buffer timestamp (GST_BUFFER_TIMESTAMP)
NS: NEWSEGMENT event
- NS.start: start field in the NEWSEGMENT event
- NS.stop: stop field in the NEWSEGMENT event
- NS.rate: rate field of NEWSEGMENT event
- NS.abs_rate: absolute value of rate field of NEWSEGMENT event
- NS.time: time field in the NEWSEGMENT event
- NS.accum: total accumulated time of all prevIoUs NEWSEGMENT events. This field is kept in the GstSegment structure.
满足B.timestamp >= NS.start && B.timestamp <= NS.stop的GstBuffer实例是有效的,在这个范围之外的其它buffer将被丢弃。
B.timestamp到B.running_time的转换公式如下:
if (NS.rate > 0.0)
B.running_time = (B.timestamp - NS.start) / NS.abs_rate + NS.accum
else
B.running_time = (NS.stop - B.timestamp) / NS.abs_rate + NS.accum
由于B.running_time就是running_time,所以running_time是从NEWSEGMENT event和buffer而来的。
所以根据第一个有效地buffer计算出来的running_time为0,既然B.timestamp == NS.start and NS.accum == 0。
Synchronisation
~~~~~~~~~~~~~~~
我们可以用如下方法得到running_time:
1)用选定的时钟和元素的base_time:
2)用buffer timestamp和之前的NEWSEGMENT event(假定播放速率为正):
running_time的前缀C和B表示两种不同的计算方法
同步播放就是要确保:当播放一个时间戳是B.running_time的buffer时,时钟必须达到了C.running_time,也就是说当:
B.running_time = C.running_time时,
播放buffer里面的数据。因此可以扩展到如下的公式:
B.running_time = absolute_time - base_time
或者
absolute_time = B.running_time + base_time
记B.sync_time为buffer应该被播放时的绝对时间,因此得到:
B.sync_time = B.running_time + base_time
对于多路流来说,拥有同样的running_time的buffers将被同时播放。demuxer元素在它的所有的src pad上发送NEWSEGMENT消息来确保同步的buffer具有同样的时间戳。
Stream time
~~~~~~~~~~~
Stream time是流的位置,值介于0和媒体文件的长度(时间为单位)。有如下作用:
1)POSITION查询
2)seek事件中的position的设置
3)the position used to synchronize controller values
可以按照如下的方式来计算stream time,推导过程如下:
=>
(B.timestamp - NS.start) / NS.abs_rate + NS.accum = absolute_time - base_time;
(B.timestamp - NS.start) / NS.abs_rate = absolute_time - base_time - NS.accum;
(B.timestamp - NS.start) = (absolute_time - base_time - NS.accum) * NS.abs_rate
又因为
stream_time = (B.timestamp - NS.start) * NS.abs_applied_rate + NS.time
stream_time = (absolute_time - base_time - NS.accum) * NS.abs_rate * NS.abs_applied_rate + NS.time
最后得到的公式常被用来在sink元素中查询当前播放的位置。
需要注意的是:stream time从来没有参与多路流的时钟同步。
-----------------------------------------------------------------------------------------------------------------------------------------
终于翻译完这篇了。 原文链接:https://www.f2er.com/javaschema/285173.html

猜你在找的设计模式相关文章