关于《Storm知识体系教学视频》已经陆续上线

作者: blogchong | 分类: 博客虫站内公告 | 评论:2人 | 浏览:

站内通告:由blogchong录制的Storm知识体系教学视频,已经陆续在国内最大IT在线教育平台--极客学院(www.jikexueyuan.com)正式上线。

课程大纲:

基础篇:

(1)Storm体系概要;

(2)Storm安装部署;

实战篇:

(3)Storm实战基础WordCount;

(4)Storm实战进阶DataOptTopology;

平台架构篇:

(5)架构基础:实时基础平台架构;

(6)架构进阶:数据处理平台架构;

More...

博客虫资料分享第七期《storm集群安装部署》

作者: blogchong | 分类: 原创-博客虫资料分享 | 评论:1人 | 浏览:

本期资料分享,主要是storm0.9.2安装部署过程。


包含如下内容:


(1)Storm0.9.2集群安装部署过程.pdf

(2)apache-storm-0.9.2-incubating.zip

(3)jdk-7u25-linux-x64.gz

(4)Python-2.7.2.tgz

(5)zookeeper-3.4.6.tar.gz


More...

博客虫Storm实战系列一《集群安装与部署》

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:1人 | 浏览:

这是博客虫Storm实战系列第一篇《集群的安装与部署》

More...

博客虫资料分享第六期《storm trident视频》

作者: blogchong | 分类: 原创-博客虫资料分享 | 评论:1人 | 浏览:

群里(storm-分布式-IT技术 191321336) nd-storm大神的trident系列视频。

感谢nd-storm的无私分享,大家伙儿膜拜他吧  

鉴于群里朋友经常咨询,在此提供长久网盘链接:

注意事项:

(1)视频为nd-storm大神录制,并且免费分享给大家的;

(2)视频版权归nd-storm所有,商业用途请联系nd-storm;

附上链接:

More...

滑动窗口在storm中的实现[转]

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

1.滑动的触发由谁来完成?

2.你认为滑动窗口与storm该如何结合?

3.滑动窗口与storm结合是如何实现的?

这里需要对storm有所了解,可以参考总体认识storm包括概念,场景,组成,明白storm之后,我们继续下面内容。

这里首先需要明白一个场景,那就是这个滑动窗口是什么窗口,about云首页位置,如下图所示,这个便是滑动窗口的一个例子,但是本文讲的不是图片的滑动,而是数据页面的滑动,明白了这个问题,我们继续向下看。

More...

开源流式处理新系统Samza

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

Samza是由LinkedIn开源的一个技术,它是一个开源的分布式流处理系统,非常类似于Storm。不同的是它运行在Hadoop之上,并且使用了自己开发的Kafka分布式消息处理系统。

大家不是马上会想到storm on yarn。哈哈,其实还真的有很多相似的地方。

这是Linkin开发的小巧但是好用的项目,之所以说小巧而好用,我们来看看它的一些特点:

1. 只有几千行代码,完成的功能就可以和Storm媲美,当然目前还有很多的不足

2. 和Kafka结合紧密,更方便的处理数据

3. 运行在Yarn上

其实我们做的很多架构,类似是Kafka + Storm + 后端数据存储,将来完全可以将Storm替换成Samza,这样的话,还可以利用Hadoop集群的资源,做一些存储、离线分析的功能。将实时处理和离线分析都运行在Hadoop上,不得不说Samza是一个伟大的项目,这样可以减少项目的增长复杂度,利于维护。

More...

mac os 配置 storm+kafka+zookeeper配置

作者: EXEC | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

首先确定由jdk scala环境

JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home
export PATH=${PATH}:${JAVA_HOME}/bin
SCALA_HOME=/Users/luping/develop/dev/scala-2.10.3
export PATH=${PATH}:${SCALA_HOME}/bin

zookeeper

More...