欢迎关注“数据虫巢(微信号blogchong)”,个人微信号mute88,数据虫巢私密群启动招募啦!

[置顶] 数据虫巢-提供专业的大数据解决方案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:2人 | 浏览:

[置顶] 米特吧大数据技术沙龙第二期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:5人 | 浏览:

[置顶] 米特吧大数据技术沙龙第一期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:2人 | 浏览:

[置顶] 我所理解的大数据个性化推荐

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:3人 | 浏览:

[置顶] 这些年,这些挖掘机算法,这些反思

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:8人 | 浏览:

[置顶] 数据平台架构草案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:3人 | 浏览:

翻译:Storm与Spark Streaming的对比(Storm VS Spark Streaming)

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:2人 | 浏览:

概述

Storm和Spark streaming都是分布式的数据流式实时处理的开源框架。但是,他们也有一些很重要的差异,如下几点将是重点的差异对比。

译者(blogchong)注:了解清楚他们各自的技术特点,才能更好的做技术选型。

More...

米特吧大数据|大数据论坛成立~~

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

缘起:

米特吧大数据论坛的出现,有以下几个原因:

(1)据群内(storm-分布式-IT技术 191321336)群友反映,群共享资料太多太杂乱,难以查找,所以希望有一个分门别类的资料分享区;

(2)群里很多朋友问的一些问题都是重复性的问题,希望把这些问题记录下来,包括解决思路,解决过程等,帮助后面再遇到这个问题的人;

(3)交流群的消息刷新太快,其实很多热心的群友不是不帮忙,只是没有时间,交流群是一个快速响应的交流区域,而论坛可以作为一种惰性的交流区域;

More...

浅析Apache Storm 0.10.0-beta发布:剑指Heron

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:1人 | 浏览:

写在前面的话

在浅析Storm的发布版本之前,先吐槽一下Storm的版本号。

我是从0.8.0版本开始接触Storm的,那时候Storm还是推特的开源项目,作为一个Storm的半个老鸟,看到Storm又推出了一个新版本,当然是有些想法的。

从2013年,Apache接手Storm之后版本号的发布继续延续了以前的风格。说白了就是众人期望了无数年,版本依然没有过“1”。

对于这个浅析,不是单纯的翻译,夹杂了很多博客虫(微信ID:blogchong)个人的看法,当然肯定存在误差,欢迎指正以及交流。

More...

IT动物们,请放松你们的心灵

作者: blogchong | 分类: 原创-与挨踢无关 | 评论:3人 | 浏览:

本来我想把标题叫做“其实人生不是没有美,只是缺少发现美的心灵”,后来想想感觉太文绉绉了,俺又不是文人,俺只是个程序猿。

对的,就是那种IT动物园里最常见的那种动物,每天游走于北京东北四环与东北六环之间,过着朝九晚九的“幸福”生活。

想必大部分IT动物园里的同道们都是很“幸福”的,好吧,我先不说其他的,先和大伙儿分享一下我的心情。

PS:这是我早上(20150612)走路到地铁站以及下了地体之后随手用我的破手机拍的“心情”,希望这份心情能够传递给大家。

More...

Heron原作者浅谈《【原创】深度分析Twitter Heron》

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

有幸拜读了《【原创】深度分析Twitter Heron》 ( http://www.longda.us/?p=529 )一文,十分感动国内社区对Heron的关注。但此文中有诸多重要问题值得商榷,我谨在此行文指出,还望能够帮助大家更好的理解Heron。

我是符茂松,目前在Twitter工作,是Heron的作者之一。这个领域水深,我也是初窥门径,希望能够与大家多多交流。

微博:符茂松

Twitter: Louis_Fumaosong

背景介绍:

  • Heron虽然沿用了Storm的部分概念并支持其API,但在设计和实现上却是完全不同的

  • 在一年前,Twitter就已经开始了从Storm迁徙到Heron;半年前,Storm在Twitter内部已经完全被舍弃。换言之,Heron已经很好地在Twitter用于线上运行超过半年。

More...

Twitter Heron的深入解析(Twitter Heron与Storm的比较)

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

2015年6月1号, Twitter 对外宣讲了他们的Heron系统, 从ppt和论文中,看起来完爆storm。昨天,抽空把论文,仔细读了一遍, 把个人笔记和心得分享一下:

最后总结:

Heron更适合超大规模的机器, 超过1000台机器以上的集群。 在稳定性上有更优异的表现, 在性能上,表现一般甚至稍弱一些,在资源使用上,可以和其他编程框架共享集群资源,但topology级别会更浪费一些资源。

而从应用的角度,应用更偏向于大应用,小应用的话,会多一点点资源浪费, 对于大应用,debug-ability的重要性逐渐提升。 另外对于task的设计, task会走向更重更复杂, 而JStorm的task是向更小更轻量去走。

More...

阿里欲瓜分网络文学蛋糕 还来得及吗?

作者: blogchong | 分类: 互联网前沿IT技术时评 | 评论:2人 | 浏览:

之所以关注网络文学这个领域,缘自于个人在一年多以前“客串”过几个月的网络写手(好歹也是写过数十万字,领过大纵横稿费的选手啊),所以对网络文学这一块一直保持着比较高度的注意力。

就在昨天,也就是2015526日,阿里文学召开了2015年战略发布会,宣布将以移动阅读为突破口,开始布局网络文学市场。并且还拉上了几个小伙伴,小伙伴的成员如下:新浪阅读,塔读文学以及长江传媒。可谓是声势浩大!

More...