欢迎关注博客虫微信公众号“数据虫巢(微信号blogchong)”,个人微信号mute88。

[置顶] 数据虫巢-提供专业的大数据解决方案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:0人 | 浏览:

[置顶] 米特吧大数据技术沙龙第二期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:4人 | 浏览:

[置顶] 米特吧大数据技术沙龙第一期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:1人 | 浏览:

[置顶] 我所理解的大数据个性化推荐

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:2人 | 浏览:

[置顶] 这些年,这些挖掘机算法,这些反思

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:8人 | 浏览:

[置顶] 数据平台架构草案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:3人 | 浏览:

浅析Apache Storm 0.10.0-beta发布:剑指Heron

作者: blogchong | 分类: 原创-技术博文翻译 | 评论:1人 | 浏览:

写在前面的话

在浅析Storm的发布版本之前,先吐槽一下Storm的版本号。

我是从0.8.0版本开始接触Storm的,那时候Storm还是推特的开源项目,作为一个Storm的半个老鸟,看到Storm又推出了一个新版本,当然是有些想法的。

从2013年,Apache接手Storm之后版本号的发布继续延续了以前的风格。说白了就是众人期望了无数年,版本依然没有过“1”。

对于这个浅析,不是单纯的翻译,夹杂了很多博客虫(微信ID:blogchong)个人的看法,当然肯定存在误差,欢迎指正以及交流。

More...

IT动物们,请放松你们的心灵

作者: blogchong | 分类: 原创-与挨踢无关 | 评论:3人 | 浏览:

本来我想把标题叫做“其实人生不是没有美,只是缺少发现美的心灵”,后来想想感觉太文绉绉了,俺又不是文人,俺只是个程序猿。

对的,就是那种IT动物园里最常见的那种动物,每天游走于北京东北四环与东北六环之间,过着朝九晚九的“幸福”生活。

想必大部分IT动物园里的同道们都是很“幸福”的,好吧,我先不说其他的,先和大伙儿分享一下我的心情。

PS:这是我早上(20150612)走路到地铁站以及下了地体之后随手用我的破手机拍的“心情”,希望这份心情能够传递给大家。

More...

Heron原作者浅谈《【原创】深度分析Twitter Heron》

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

有幸拜读了《【原创】深度分析Twitter Heron》 ( http://www.longda.us/?p=529 )一文,十分感动国内社区对Heron的关注。但此文中有诸多重要问题值得商榷,我谨在此行文指出,还望能够帮助大家更好的理解Heron。

我是符茂松,目前在Twitter工作,是Heron的作者之一。这个领域水深,我也是初窥门径,希望能够与大家多多交流。

微博:符茂松

Twitter: Louis_Fumaosong

背景介绍:

  • Heron虽然沿用了Storm的部分概念并支持其API,但在设计和实现上却是完全不同的

  • 在一年前,Twitter就已经开始了从Storm迁徙到Heron;半年前,Storm在Twitter内部已经完全被舍弃。换言之,Heron已经很好地在Twitter用于线上运行超过半年。

More...

Twitter Heron的深入解析(Twitter Heron与Storm的比较)

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

2015年6月1号, Twitter 对外宣讲了他们的Heron系统, 从ppt和论文中,看起来完爆storm。昨天,抽空把论文,仔细读了一遍, 把个人笔记和心得分享一下:

最后总结:

Heron更适合超大规模的机器, 超过1000台机器以上的集群。 在稳定性上有更优异的表现, 在性能上,表现一般甚至稍弱一些,在资源使用上,可以和其他编程框架共享集群资源,但topology级别会更浪费一些资源。

而从应用的角度,应用更偏向于大应用,小应用的话,会多一点点资源浪费, 对于大应用,debug-ability的重要性逐渐提升。 另外对于task的设计, task会走向更重更复杂, 而JStorm的task是向更小更轻量去走。

More...

阿里欲瓜分网络文学蛋糕 还来得及吗?

作者: blogchong | 分类: 互联网前沿IT技术时评 | 评论:2人 | 浏览:

之所以关注网络文学这个领域,缘自于个人在一年多以前“客串”过几个月的网络写手(好歹也是写过数十万字,领过大纵横稿费的选手啊),所以对网络文学这一块一直保持着比较高度的注意力。

就在昨天,也就是2015526日,阿里文学召开了2015年战略发布会,宣布将以移动阅读为突破口,开始布局网络文学市场。并且还拉上了几个小伙伴,小伙伴的成员如下:新浪阅读,塔读文学以及长江传媒。可谓是声势浩大!

More...

DT时代变革的反思

作者: blogchong | 分类: 互联网前沿IT技术时评 | 评论:0人 | 浏览:

DT一词,翻译过来即数据科技。可以说,这并不是一个新词,但它真正引起我注意的是阿里研究院最近写的一本书《互联网+:从IT到DT》。阿里作为国内IT技术的引领者,其技术定论不可轻易忽视之!

More...

大数据技术栈- BI探秘

作者: allwefantasy | 分类: 原创-Hadoop大数据 | 评论:0人 | 浏览:

前言

原来BI这块打算很后面写的,先把前面的基础技术介绍清楚。但有不少人匿名评论说,我第一篇《大数据技术栈-Web框架&消息队列 》和大数据无关,看着没意思。但实际不是这样子的,消息队列,你可以问问,是任何一家大一点的公司都需要的基础设施,我在原文中重点解释的是消息队列解决的问题,应用场景,带来的便利,并且建议有条件的,都应该引入。

这次就哗众取宠下,直接跳到BI这个产品上。不过后续我会沿着原来的路线写,继续介绍一些底层的系统,包括索引服务,Redis集群,数据网关等的使用经验。

More...