Storm项目:流数据监控 <5>Zookeeper统一配置

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

好久没更新storm相关的文章了(快一个月了),很早以前就有朋友提出过storm的拓扑任务会出现supervisor各节点配置麻烦的问题,基于此,我很早就考虑如何解决这个问题,直到现在才把这个问题解决(工作小忙)。

More...

Storm项目:流数据监控 <4>流数据监控MetaQ接口

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:2人 | 浏览:

1 文档说明

 

该文档为storm模拟项目系列文档之一,是MetaQstorm接口的说明文档,主要介绍了如何集成MetaQ到项目代码中。

More...

Storm项目:流数据监控 <3>流数据监控示例运行

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

 1 文档说明

该文档为storm模拟项目第三份文档,第一份文档简单的介绍了模拟项目的设计,第二份文档为关键代码详解,这份文档则是示例运行的文档,从源代码打包到配置文件配置,lib文件导入,及任务提交,最后到处理数据输出到mysql中,这一整个流程。

More...

Storm项目:流数据监控 <2>流数据监控代码详解

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:2人 | 浏览:

 1 项目概述

1.1 数据流向

流数据监控为storm模拟项目,模拟数据源从log文件中读取数据,并逐条发射到监控Bolt中,MonitorsBolt读取配置文件MonitorBolt.xml中的匹配规则,包括正则匹配、范围匹配、常规模糊匹配及常规完全匹配,多个条件可以组合多种匹配方式,多个条件字段可以有两种不同的逻辑关系。MonitorBolt在处理数据之后(过滤出符合匹配规则的数据),发射到数据持久化Bolt中,MysqlBolt读取配置文件MysqlBolt.xmlmysql相关信息,包括mysqlhost及端口,usernamepassworddatabasefrom,最后将数据插入mysql中。

1.2 代码树

                                              

1.2 代码树

源码简单说明:

Storm包中为总体运行的TopologyStorm.base目前只有myslq预处理的一个类,storm.boltbolt处理类,包括monitorboltprintboltstorm.spout包中为spout源数据接口,storm.source为构造源数据的一个类(这个可以忽略),storm.xml为配置文件读取类,domain.log为源数据,MonitorBolt.xmlMyslqBolt.xml分别为配置文件。

 

More...

Storm项目:流数据监控 <1>流数据监控设计文档

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:5人 | 浏览:

1 流数据监控设计概述

1.1 概述前言

1.之前跟大家说要给大家写一些storm实时处理的代码,本来打算周末写的,但周末去爬香山了,所以迟了几天(这些算是废话)

More...