mac os 配置 storm+kafka+zookeeper配置

作者: EXEC | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

首先确定由jdk scala环境

JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home
export PATH=${PATH}:${JAVA_HOME}/bin
SCALA_HOME=/Users/luping/develop/dev/scala-2.10.3
export PATH=${PATH}:${SCALA_HOME}/bin

zookeeper

More...

Redis集群部署以及主从配置

作者: blogchong | 分类: 原创-NoSql | 评论:0人 | 浏览:

Redis简介

这里就直接略过了,可参Redis介绍以及安装部署配置

More...

Redis介绍以及安装部署配置

作者: blogchong | 分类: 原创-NoSql | 评论:0人 | 浏览:

NoSql概况

介绍redis之前,首先先介绍一下NoSql这个概念。NoSql是Not Only Sql的简写,即非关系型数据库。传统的数据库是关系型数据库,但随着数据量的不断提升,传统的关系型数据库越来越难以满足大规模以及高并发的应用场景。于是NoSql应用而生。

NoSql大多以Key-Value的形式存储数据,不一定遵循传统数据库的一些要求,比如SQL标准、ACID属性、表结构等。

More...

翻译:如何在Windows下搭建Storm

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:5人 | 浏览:

在过去,在windows下跑storm是一个极大的挑战。通常,这种方式会涉及到Storm的源码编程方式,storm的生态依赖以及如何让windows伪装成UNIX/POSIX。

就是因为这个原因,导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。

非常感谢Storm的开发者David Lao以及 来自Yahoo!的贡献(making-storm-fly-with-netty),下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。

More...

MetaQ原理调研及其安装部署

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:1人 | 浏览:

1 文档说明

该文档MetaQ的调研文档及安装部署文档。对一个新的开源项目进行学习,个人喜欢对其先进行详细的调研,虽然网上关于MetaQ的资料众多,但个人喜欢将其以自己习惯的方式整理出来,方便以后查询。

More...

Storm原理调研及部署文档

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

 1 Storm调研

1.1 Storm简介

Twitter Storm 是使用 Clojure(发音同 closure)语言实现的。 Clojure 是 Lisp 语言的一种现代方言。类似于 Lisp,Clojure 支持一种功能性编程风格,但 Clojure 还引入了一些特性来简化多线程编程(一种对创建 Storm 很有用的特性)。Twitter列举了Storm的三大类应用:

1.信息流处理{Stream processing},Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。

2.连续计算{Continuous computation}

3.Storm可进行连续查询并把结果即时反馈给客户端,比如把Twitter上的热门话题发送到浏览器中。

3.分布式远程程序调用{Distributed RPC},Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。举个例子Distributed RPC可以做并行搜索或者处理大集合的数据。

Storm集群由一个主节点和多个工作节点组成。主节点运行了一个名为“Nimbus”的守护进程,用于分配代码、布置任务及故障检测。每个工作节点都运行了一个名为“Supervisor”的守护进程,用于监听工作,开始并终止工作进程。Nimbus和Supervisor都能快速失败,而且是无状态的,这样一来它们就变得十分健壮,两者的协调工作是由Apache ZooKeeper来完成的。

Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。Stream是被处理的数据。Sprout是数据源。Bolt处理数据。Task是运行于Spout或Bolt中的 线程。Worker是运行这些线程的进程。Stream Grouping规定了Bolt接收什么东西作为输入数据。数据可以随机分配(术语为Shuffle),或者根据字段值分配(术语为Fields),或者 广播(术语为All),或者总是发给一个Task(术语为Global),也可以不关心该数据(术语为None),或者由自定义逻辑来决定(术语为 Direct)。Topology是由Stream Grouping连接起来的Spout和Bolt节点网络。

More...

Lustre2.4安装部署文档

作者: blogchong | 分类: 原创-分布式存储 | 评论:1人 | 浏览:

 1 文档说明

写该文档的最直接的原因是有网友说网上很难找到lustre的部署文档,我曾答应说要给他整理出一个,所以就~~~

其实也是,目前lustre想找一个安装部署文档确实很困难,哪怕是英文的也好。网上流行为数不多的lustre的资料是09年以及10年时期的资料,那还是1.X的年代。比较完全的资料是1.8版的安装部署过程,但现在最新的lustre已经更新到2.5.1了。

More...