华为的StreamCQL,你“抄袭”了我的创意

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:3人 | 浏览:

文·博客虫

一、关于StreamCQL

关于StreamSQL,我是就在数个小时之前才知晓的,源自于《大数据上的流式SQL引擎--StreamSQL》这篇文章。

//哈哈,顺便为自己的p图技术,点个赞~~

其实就在昨天,部门内部就有同事分享在了部门内部群里,只是当时实在是忙蛋碎菊紧,所以就没有brid它。直到今天晚上(哦不,现在都过了凌晨,应该是昨天晚上了),又看到两个搞技术的朋友在微信朋友圈里分享了这篇文章。

并且,根据那些小伙伴转发的评论,似乎是这玩意儿要引领大数据实时处理领域的变革了。尼玛,这可不得了,要变天了,非得看看不可,所以就点了进去。

总结一下那篇文章的一些重点:首先这是华为开源的,名字叫StreamCQL;其以Storm为底层引擎,针对的是流式数据查询,提供类SQL的查询语句进行流式数据可持续性的查询;提供的特性有数据组合、拆分、统计、关联,然后再就是在滑窗内把这些操作做了一遍。

好吧,大概就这些,然后又举了一个类SQL的例子来说明StreamCQL的作用。

But,我发现我看了第一遍,我感觉很熟悉,然后我又针对StreamCQL特征部分以及实例部分又看了一遍,感觉更熟悉了。

然后我仔细的回忆了下,原来如此,这玩意儿早在三年前我就把原型做出来了!

More...

翻译:Storm与Spark Streaming的对比(Storm VS Spark Streaming)

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:2人 | 浏览:

概述

Storm和Spark streaming都是分布式的数据流式实时处理的开源框架。但是,他们也有一些很重要的差异,如下几点将是重点的差异对比。

译者(blogchong)注:了解清楚他们各自的技术特点,才能更好的做技术选型。

More...

浅析Apache Storm 0.10.0-beta发布:剑指Heron

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:1人 | 浏览:

写在前面的话

在浅析Storm的发布版本之前,先吐槽一下Storm的版本号。

我是从0.8.0版本开始接触Storm的,那时候Storm还是推特的开源项目,作为一个Storm的半个老鸟,看到Storm又推出了一个新版本,当然是有些想法的。

从2013年,Apache接手Storm之后版本号的发布继续延续了以前的风格。说白了就是众人期望了无数年,版本依然没有过“1”。

对于这个浅析,不是单纯的翻译,夹杂了很多博客虫(微信ID:blogchong)个人的看法,当然肯定存在误差,欢迎指正以及交流。

More...

Heron原作者浅谈《【原创】深度分析Twitter Heron》

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

有幸拜读了《【原创】深度分析Twitter Heron》 ( http://www.longda.us/?p=529 )一文,十分感动国内社区对Heron的关注。但此文中有诸多重要问题值得商榷,我谨在此行文指出,还望能够帮助大家更好的理解Heron。

我是符茂松,目前在Twitter工作,是Heron的作者之一。这个领域水深,我也是初窥门径,希望能够与大家多多交流。

微博:符茂松

Twitter: Louis_Fumaosong

背景介绍:

  • Heron虽然沿用了Storm的部分概念并支持其API,但在设计和实现上却是完全不同的

  • 在一年前,Twitter就已经开始了从Storm迁徙到Heron;半年前,Storm在Twitter内部已经完全被舍弃。换言之,Heron已经很好地在Twitter用于线上运行超过半年。

More...

Twitter Heron的深入解析(Twitter Heron与Storm的比较)

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

2015年6月1号, Twitter 对外宣讲了他们的Heron系统, 从ppt和论文中,看起来完爆storm。昨天,抽空把论文,仔细读了一遍, 把个人笔记和心得分享一下:

最后总结:

Heron更适合超大规模的机器, 超过1000台机器以上的集群。 在稳定性上有更优异的表现, 在性能上,表现一般甚至稍弱一些,在资源使用上,可以和其他编程框架共享集群资源,但topology级别会更浪费一些资源。

而从应用的角度,应用更偏向于大应用,小应用的话,会多一点点资源浪费, 对于大应用,debug-ability的重要性逐渐提升。 另外对于task的设计, task会走向更重更复杂, 而JStorm的task是向更小更轻量去走。

More...

博客虫Storm实战系列二《Storm基础实例代码讲解》

作者: blogchong | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

这是博客虫Storm实战系列第二篇《Storm基础实例代码讲解》

1 实例设计

实例需求:

数据源,会源源不断的产生,海量英文语句。我们要实时的,获取到单词的词频,或者说要实时的看到词频的Top N,即词频排在前N的词,Top N的词频是如何实时变化的。

思维变换:

思维再发散一下,如果,这是不同商品的,用户行为操作数据呢?我们是不是,就能实时的看到,用户关注商品的热点了?好吧,这只是简单的,将模型,稍微的变换了一下。

More...

Storm最新实战课程已经上线,适合新手!

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

《Storm知识体系》系列课程已经到第三课了,终于有实战课程上来了。不过这个比较基础,适合学习Storm的新手。
附上传送门:《Storm应用实例设计》