翻译:Storm与Spark Streaming的对比(Storm VS Spark Streaming)

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:2人 | 浏览:

概述

Storm和Spark streaming都是分布式的数据流式实时处理的开源框架。但是,他们也有一些很重要的差异,如下几点将是重点的差异对比。

译者(blogchong)注:了解清楚他们各自的技术特点,才能更好的做技术选型。

More...

米特吧大数据|大数据论坛成立~~

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

缘起:

米特吧大数据论坛的出现,有以下几个原因:

(1)据群内(storm-分布式-IT技术 191321336)群友反映,群共享资料太多太杂乱,难以查找,所以希望有一个分门别类的资料分享区;

(2)群里很多朋友问的一些问题都是重复性的问题,希望把这些问题记录下来,包括解决思路,解决过程等,帮助后面再遇到这个问题的人;

(3)交流群的消息刷新太快,其实很多热心的群友不是不帮忙,只是没有时间,交流群是一个快速响应的交流区域,而论坛可以作为一种惰性的交流区域;

More...

Heron原作者浅谈《【原创】深度分析Twitter Heron》

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

有幸拜读了《【原创】深度分析Twitter Heron》 ( http://www.longda.us/?p=529 )一文,十分感动国内社区对Heron的关注。但此文中有诸多重要问题值得商榷,我谨在此行文指出,还望能够帮助大家更好的理解Heron。

我是符茂松,目前在Twitter工作,是Heron的作者之一。这个领域水深,我也是初窥门径,希望能够与大家多多交流。

微博:符茂松

Twitter: Louis_Fumaosong

背景介绍:

  • Heron虽然沿用了Storm的部分概念并支持其API,但在设计和实现上却是完全不同的

  • 在一年前,Twitter就已经开始了从Storm迁徙到Heron;半年前,Storm在Twitter内部已经完全被舍弃。换言之,Heron已经很好地在Twitter用于线上运行超过半年。

More...

DT时代变革的反思

作者: blogchong | 分类: 互联网前沿IT技术时评 | 评论:0人 | 浏览:

DT一词,翻译过来即数据科技。可以说,这并不是一个新词,但它真正引起我注意的是阿里研究院最近写的一本书《互联网+:从IT到DT》。阿里作为国内IT技术的引领者,其技术定论不可轻易忽视之!

More...

大数据技术栈- BI探秘

作者: allwefantasy | 分类: 原创-Hadoop大数据 | 评论:0人 | 浏览:

前言

原来BI这块打算很后面写的,先把前面的基础技术介绍清楚。但有不少人匿名评论说,我第一篇《大数据技术栈-Web框架&消息队列 》和大数据无关,看着没意思。但实际不是这样子的,消息队列,你可以问问,是任何一家大一点的公司都需要的基础设施,我在原文中重点解释的是消息队列解决的问题,应用场景,带来的便利,并且建议有条件的,都应该引入。

这次就哗众取宠下,直接跳到BI这个产品上。不过后续我会沿着原来的路线写,继续介绍一些底层的系统,包括索引服务,Redis集群,数据网关等的使用经验。

More...

这些年,这些挖掘机算法,这些反思

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:8人 | 浏览:

写这篇文章,缘自于前几天部门内部成员们进行了一次部门内部现有涉及的一些算法的review以及整理。不过比较囧的就是,由于boss不在,我们讨论讨论着就成了吐槽大会,倒是有一半时间在吐槽产品以及业务部门了~~

不过这也算是一件可喜可贺的事情了,这也可以看做是我们数据部门,已经由开轻型挖掘机向深挖阶段迈步了。

More...

你好,scala!

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:1人 | 浏览:

说起scala,其实,早在几个月前我就认识它了。

同事中有一个是scala的“忠实粉丝”,他一直“怂恿”我们使用scala,也一直在部门内极力推广它。但或许是面对不熟悉的事务,我们本能的有种恐惧感,让我不愿意去真正的接触它。

因此,当初只是简单的了解了一下他,但并未下定决心去使用他,并且也没有必须使用他的需求。

所以,一直不敢“动”它!

直到今天,由于需要在我们索引系统中临时增加一个模块,而这个系统本身就是那个“scala粉”同事主导开发的,所以基本都是使用scala构建的。

More...