最新消息:

滑动窗口在storm中的实现

storm admin 3003浏览 0评论

滑动窗口在监控和统计应用的场景比较广泛,比如每隔一段时间(10s)统计最近30s的请求量或者异常次数,根据请求或者异常次数采取相应措施;这里说一下滑动窗口在storm中实现的原理。参见下图:

g1

 

窗口大小为30s,每10s就统计一次,那么窗口一共有3个slot,可以对窗口建立长度为3的数组;在storm的blot中在10s内通过execute(tuple)功能不停的把接收的tuple进行count个数(假如内置变量为tuple_count),每10s会自动触发滑动窗口的移动工作(Array[slot3]=》Array[slot2],Array[slot2]=》Array[slot1]),并存储当前tuple_count值到Array[slot3] ,随之可以进行统计窗口的数据了。

那么如何每10s进行自动触发,storm有一个TickTuple可以满足这个要求,

“__system” component会定时往task发送 “__tick” stream的tuple
发送频率由TOPOLOGY_TICK_TUPLE_FREQ_SECS来配置, 可以在default.ymal里面配置
也可以在代码里面通过getComponentConfiguration()来进行配置,

publicMap<String,Object>getComponentConfiguration(){
Map<String,Object>conf=newHashMap<String,Object>();
conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS,emitFrequencyInSeconds);
returnconf;

配置完成后, storm就会定期的往task发送ticktuple

只需要通过isTickTuple来判断是否为tickTuple, 就可以完成定时触发的功能

publicstaticbooleanisTickTuple(Tuple tuple){
returntuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)
\SYSTEM_COMPONENT_ID=="__system"
&&tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID);
\SYSTEM_TICK_STREAM_ID=="__tick"
}

转载请注明:爱开源 » 滑动窗口在storm中的实现

您必须 登录 才能发表评论!