Storm应用实例:基于Storm的Nginx Log实时监控系统

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

背景

UAE(UC App Engine)是一个UC内部的PaaS平台,总体架构有点类似CloudFoundry,包括:

  1. 快速部署:支持Node.js、Play!、PHP等框架

  2. 信息透明:运维过程、系统状态、业务状况

More...

Storm实时处理系统集群监控

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

很多人都对Storm集群监控很有兴趣,特地收集了这篇文章,提供了监控项目作者的项目下载地址。

storm集群监控Git首页:storm-monitor.

以下信息为摘录,摘录自《庄周梦蝶》(想必会有很多人熟悉这个网络ID)。

所谓兵马未动,粮草先行,准备将storm用在某个项目中做实时数据分析。无论任何系统,一定要有监控系统并存,当故障发生的时候你能第一个知道,而不是让别人告诉你,那处理故障就很被动了。

More...

Storm系统中的Nimbus高可用

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

在做架构的时候,一个重要要素需要考虑的就是:系统的高可用!

关于Storm的高可用,有以下几个方面:

(1)数据利用阶段可以通过ACK机制保证数据被处理;

More...

实时处理系统Storm的进程通信机制详解

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

在Storm中,worker进程内部的thread通信与worker进程间的通信有一些差别,worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。worker进程内部通信或在同一个节点的不同worker的thread通信使用LMAX Disruptor来完成。

对于worker进程来说,为了管理流入和传出的消息,每个worker进程有一个独立的接收线程(对配置的TCP端口supervisor.slots.ports进行监听)。参数topology.receiver.buffer.size代表接收线程一次最多能接收多少条消息,用户可以自定义配置。接收线程将收到的消息传递给对应的executor(一个或多个)的incoming-queues。

More...

Storm系统监控脚本

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

写这个文档呢,是因为前几天在群中有人讨论关于nimbus没有自动重启机制,如何保证系统挂掉后重启的问题。刚好有朋友也问到了这个问题,就写了几个脚本,顺便写个文档说明说明。

More...

MetaQ原理调研及其安装部署

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:1人 | 浏览:

1 文档说明

该文档MetaQ的调研文档及安装部署文档。对一个新的开源项目进行学习,个人喜欢对其先进行详细的调研,虽然网上关于MetaQ的资料众多,但个人喜欢将其以自己习惯的方式整理出来,方便以后查询。

More...

Storm实践问题锦集<5>

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

1 文档说明

该文档包涵了storm实战中经常遇到一些问题,及对应解决方案。这个文档是群里的朋友在学习storm,并实战storm中遇到的一些问题,及和群里其他朋友一起交流给出的对应解决方案,供大家参考,希望能对大家有所帮助。

More...