Storm On YARN

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

 1. 背景知识

(1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介

(2)YARN:YARN是Hadoop 2.0中新引入的资源管理系统,可看做Hadoop操作系统中的资源管理组件,所有应用程序和框架,比如MapReduce、Storm和Spark等,均可运行在YARN之上,关于YARN,可阅读我的一系列文章:Hadoop-YARN

(3)Storm On YARN:尝试将Storm运行在YARN上,这将来众多好处,具体本文将详细介绍。Storm On YARN最有名是Yahoo!的开源实现,具体参考:Storm On YARN。将Storm运行在YARN上并不是一件难事,但重要的是,它给我们开了一扇窗,我们可通过该项目实现HBase On YARN, Spark On YARN,Kafka On YARN等有意义的工作,具体参考我的这篇文章:汇总运行在Hadoop YARN上的开源系统

More...

Storm项目:流数据监控 <6>最新代码结构及详解

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

DataOptTopology项目由之前的monitorTopology整理而来,并且在此基础上增加了功能,梳理了代码。

代码托管到了github,搜索dataopttopology,或者直接访问下面链接:

代码获取:https://github.com/blogchong/DataOptTopology

2 代码结构说明

2.1 代码树

//7个包,20java文件

More...

实时处理方案架构

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

该文档描述的是以storm为主体的实时处理架构,该架构包括了数据收集部分,实时处理部分,及数据落地部分。

关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关,会一一进行分析。

该架构是本人所掌握的一种架构,可能会与其他架构有相似的部分,个人会一一解释对其的理解。

这个文章写的很详细,相信对大家在实时处理整体理解上会有帮助的。

 

More...

数据平台架构草案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:3人 | 浏览:

1 文档说明

 记得很久以前画过一个架构图,但那个架构图是以实时处理为核心的数据处理架构,并且那个架构图也比较简单,事实上那个架构正是数据平台架构的一个部分。现在所提供的是整个数据平台的数据处理架构草图。

More...

关于博客虫技术文章对应的源代码

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

 

关于storm实例源码:

//放在了CSDN的CODE代码托管平台上,以后会在那更新,博客虫首页有友情链接“代码GIT”就是了。

(1)在原有的基础上重新梳理了下,更名为DataOptTopology

More...

Storm项目:流数据监控 <5>Zookeeper统一配置

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

好久没更新storm相关的文章了(快一个月了),很早以前就有朋友提出过storm的拓扑任务会出现supervisor各节点配置麻烦的问题,基于此,我很早就考虑如何解决这个问题,直到现在才把这个问题解决(工作小忙)。

More...

Storm项目:流数据监控 <4>流数据监控MetaQ接口

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:2人 | 浏览:

1 文档说明

 

该文档为storm模拟项目系列文档之一,是MetaQstorm接口的说明文档,主要介绍了如何集成MetaQ到项目代码中。

More...