翻译:如何在Windows下搭建Storm

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:5人 | 浏览:

在过去,在windows下跑storm是一个极大的挑战。通常,这种方式会涉及到Storm的源码编程方式,storm的生态依赖以及如何让windows伪装成UNIX/POSIX。

就是因为这个原因,导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。

非常感谢Storm的开发者David Lao以及 来自Yahoo!的贡献(making-storm-fly-with-netty),下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。

More...

Storm应用实例:基于Storm的Nginx Log实时监控系统

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

背景

UAE(UC App Engine)是一个UC内部的PaaS平台,总体架构有点类似CloudFoundry,包括:

  1. 快速部署:支持Node.js、Play!、PHP等框架

  2. 信息透明:运维过程、系统状态、业务状况

More...

Storm实时处理系统集群监控

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

很多人都对Storm集群监控很有兴趣,特地收集了这篇文章,提供了监控项目作者的项目下载地址。

storm集群监控Git首页:storm-monitor.

以下信息为摘录,摘录自《庄周梦蝶》(想必会有很多人熟悉这个网络ID)。

所谓兵马未动,粮草先行,准备将storm用在某个项目中做实时数据分析。无论任何系统,一定要有监控系统并存,当故障发生的时候你能第一个知道,而不是让别人告诉你,那处理故障就很被动了。

More...

Learning storm book 笔记8-Log Processing With Storm

作者: EXEC | 分类: 原创-Storm实时处理 | 评论:1人 | 浏览:

有代码的书籍看起来就是爽,看完顺便跑个demo,感觉很爽!我只是个搬运工,不喜也允许喷!

场景分析

主要是利用apache的访问日志来进行分析统计 如用户的IP来源,来自哪个国家或地区,用户使用的Os,浏览器等信息,以及像搜索的热词等信息的统计 这里日志信息如下

More...

Storm系统中的Nimbus高可用

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

在做架构的时候,一个重要要素需要考虑的就是:系统的高可用!

关于Storm的高可用,有以下几个方面:

(1)数据利用阶段可以通过ACK机制保证数据被处理;

More...

实时处理系统Storm的进程通信机制详解

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

在Storm中,worker进程内部的thread通信与worker进程间的通信有一些差别,worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。worker进程内部通信或在同一个节点的不同worker的thread通信使用LMAX Disruptor来完成。

对于worker进程来说,为了管理流入和传出的消息,每个worker进程有一个独立的接收线程(对配置的TCP端口supervisor.slots.ports进行监听)。参数topology.receiver.buffer.size代表接收线程一次最多能接收多少条消息,用户可以自定义配置。接收线程将收到的消息传递给对应的executor(一个或多个)的incoming-queues。

More...

Storm系统监控脚本

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

写这个文档呢,是因为前几天在群中有人讨论关于nimbus没有自动重启机制,如何保证系统挂掉后重启的问题。刚好有朋友也问到了这个问题,就写了几个脚本,顺便写个文档说明说明。

More...