实时处理方案架构

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

该文档描述的是以storm为主体的实时处理架构,该架构包括了数据收集部分,实时处理部分,及数据落地部分。

关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关,会一一进行分析。

该架构是本人所掌握的一种架构,可能会与其他架构有相似的部分,个人会一一解释对其的理解。

这个文章写的很详细,相信对大家在实时处理整体理解上会有帮助的。

 

More...

数据平台架构草案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:3人 | 浏览:

1 文档说明

 记得很久以前画过一个架构图,但那个架构图是以实时处理为核心的数据处理架构,并且那个架构图也比较简单,事实上那个架构正是数据平台架构的一个部分。现在所提供的是整个数据平台的数据处理架构草图。

More...

关于博客虫技术文章对应的源代码

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

 

关于storm实例源码:

//放在了CSDN的CODE代码托管平台上,以后会在那更新,博客虫首页有友情链接“代码GIT”就是了。

(1)在原有的基础上重新梳理了下,更名为DataOptTopology

More...

Storm项目:流数据监控 <5>Zookeeper统一配置

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

好久没更新storm相关的文章了(快一个月了),很早以前就有朋友提出过storm的拓扑任务会出现supervisor各节点配置麻烦的问题,基于此,我很早就考虑如何解决这个问题,直到现在才把这个问题解决(工作小忙)。

More...

Storm项目:流数据监控 <4>流数据监控MetaQ接口

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:2人 | 浏览:

1 文档说明

 

该文档为storm模拟项目系列文档之一,是MetaQstorm接口的说明文档,主要介绍了如何集成MetaQ到项目代码中。

More...

Storm项目:流数据监控 <3>流数据监控示例运行

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

 1 文档说明

该文档为storm模拟项目第三份文档,第一份文档简单的介绍了模拟项目的设计,第二份文档为关键代码详解,这份文档则是示例运行的文档,从源代码打包到配置文件配置,lib文件导入,及任务提交,最后到处理数据输出到mysql中,这一整个流程。

More...

关于Storm实例项目《DataOptTopology》

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

关于DataOptTopology,其实就是在以前的monitorTopology项目上重新整理了下,放到了CSDN的CODE平台上进行托管。

并且增加了Storm的hello world实例,放到了代码的helloworld模块下,是个单独的模块,里头实现了最简单了word count。

DataOptTopology也会慢慢地完善,最起码会把Metaq接口,还有HDFS接口写好。

More...