关于《Storm知识体系教学视频》已经陆续上线
作者: blogchong | 分类: 博客虫站内公告 | 评论:2人 | 浏览:
站内通告:由blogchong录制的Storm知识体系教学视频,已经陆续在国内最大IT在线教育平台--极客学院(www.jikexueyuan.com)正式上线。
课程大纲:
基础篇:
(1)Storm体系概要;
(2)Storm安装部署;
实战篇:
(3)Storm实战基础WordCount;
(4)Storm实战进阶DataOptTopology;
平台架构篇:
(5)架构基础:实时基础平台架构;
(6)架构进阶:数据处理平台架构;
博客虫资料分享第七期《storm集群安装部署》
作者: blogchong | 分类: 原创-博客虫资料分享 | 评论:1人 | 浏览:
本期资料分享,主要是storm0.9.2安装部署过程。
包含如下内容:
(1)Storm0.9.2集群安装部署过程.pdf
(2)apache-storm-0.9.2-incubating.zip
(3)jdk-7u25-linux-x64.gz
(4)Python-2.7.2.tgz
(5)zookeeper-3.4.6.tar.gz
博客虫Storm实战系列一《集群安装与部署》
作者: blogchong | 分类: 原创-Storm实时处理 | 评论:1人 | 浏览:
博客虫资料分享第六期《storm trident视频》
作者: blogchong | 分类: 原创-博客虫资料分享 | 评论:1人 | 浏览:
群里(storm-分布式-IT技术 191321336) nd-storm大神的trident系列视频。
感谢nd-storm的无私分享,大家伙儿膜拜他吧
鉴于群里朋友经常咨询,在此提供长久网盘链接:
注意事项:
(1)视频为nd-storm大神录制,并且免费分享给大家的;
(2)视频版权归nd-storm所有,商业用途请联系nd-storm;
附上链接:
滑动窗口在storm中的实现[转]
作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:
1.滑动的触发由谁来完成?
2.你认为滑动窗口与storm该如何结合?
3.滑动窗口与storm结合是如何实现的?
这里需要对storm有所了解,可以参考总体认识storm包括概念,场景,组成,明白storm之后,我们继续下面内容。
这里首先需要明白一个场景,那就是这个滑动窗口是什么窗口,about云首页位置,如下图所示,这个便是滑动窗口的一个例子,但是本文讲的不是图片的滑动,而是数据页面的滑动,明白了这个问题,我们继续向下看。
开源流式处理新系统Samza
作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:
Samza是由LinkedIn开源的一个技术,它是一个开源的分布式流处理系统,非常类似于Storm。不同的是它运行在Hadoop之上,并且使用了自己开发的Kafka分布式消息处理系统。
大家不是马上会想到storm on yarn。哈哈,其实还真的有很多相似的地方。
这是Linkin开发的小巧但是好用的项目,之所以说小巧而好用,我们来看看它的一些特点:
1. 只有几千行代码,完成的功能就可以和Storm媲美,当然目前还有很多的不足
2. 和Kafka结合紧密,更方便的处理数据
3. 运行在Yarn上
其实我们做的很多架构,类似是Kafka + Storm + 后端数据存储,将来完全可以将Storm替换成Samza,这样的话,还可以利用Hadoop集群的资源,做一些存储、离线分析的功能。将实时处理和离线分析都运行在Hadoop上,不得不说Samza是一个伟大的项目,这样可以减少项目的增长复杂度,利于维护。
mac os 配置 storm+kafka+zookeeper配置
作者: EXEC | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:
首先确定由jdk scala环境
JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home export PATH=${PATH}:${JAVA_HOME}/bin SCALA_HOME=/Users/luping/develop/dev/scala-2.10.3 export PATH=${PATH}:${SCALA_HOME}/bin
zookeeper