你们是不是很缺大数据工程师?

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:2人 | 浏览:

缘起 之所以有这个话题,是因为周末加班中午吃饭与一个同行朋友聊起了这个话题,之后再细细地结合一些其他接触的东西,确实是有些感触的。

并且对于行业的一些现状,也的确有些自己的看法,对不对先不论,这玩意儿也没有对错之分,每个人都有自己想法,当然也包括我博客虫了。

所以,有些东西、有些想法我还是愿意分享出来的,畅所欲言吧~~

More...

米特吧大数据技术沙龙第一期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:2人 | 浏览:

写在之前~~

12月5号,第一期的《米特吧大数据技术沙龙》在福码大厦B座702随身云会议室举行。分享嘉宾包括技术沙龙的发起人以及组织者博客虫(CSDN黄崇远),来自乐视云的数据开发工程师耿一斐,来自随身云的后端技术负责人杭建,以及来自亚信科技的数据挖掘建模工程师赖志鹏。

近40位来自百度、新浪、搜狐、CSDN、环球大数据、亚信科技、新东方等数十个不同公司的技术经理、大数据工程师参与了沙龙活动。当然,也有少部分非在职人士,例如来自中传媒的数位大数据方向的博士以及硕士也参加了沙龙活动。

整个沙龙活动分享与交流穿插进行,最终,在参与者的自我介绍以及技术介绍探讨中圆满落幕。

以下为我(博客虫)综合了另外一个来自北京宸瑞科技的参会朋友的总结,做的一个干货分享(鉴于每个人的个人理解以及文章篇幅,总结的可能不够全面,敬请见谅,欢迎补充以及提建议)。

More...

米特吧大数据技术沙龙第一期举办感想以及现场照片/PPT分享~~

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:0人 | 浏览:

第一次发起并且组织的线下技术沙龙,从筹备到举办总共花了两个多星期,在12月5号下午于朝阳区望福码大厦B座7楼的随身云会议室举行(再次感觉随身云提供的会议室)。

来自新浪、百度、搜狐、乐视、CSDN、新东方、亚信等数十个公司的技术经理、开发人员近40人参加了技术沙龙活动,当然,也有少部分非在职人士,比如来自中传媒大学大数据方向的几位博士和硕士也参与活动。

整个活动不止有技术的分享,也有技术的自由交流,整个过程感觉还是很nice的,正真体现到了这不是一个简单的技术分享,而是一个技术沙龙,有交流有探讨。

分享的朋友分别来自CSDN(俺算一个,哈哈)、乐视云、亚信、以及随身云,主题分别为《沙龙开题:进步始于交流,收获源于分享--再唠一唠Storm》、《海量数据处理之大跃进--天到实时》、《BigData in 中华万年历》、《BI内容分享》等。

在分享与交流之后,最后沙龙活动以参与活动的各自自我介绍收尾,并且相互之间留下了联系方式,以备技术的继续交流。

《米特吧大数据技术沙龙》第一期算是圆满收工,作为第一次发起并且组织线下的大数据技术沙龙活动来说,个人感觉还是很不错的,我希望“进步始于交流、收获源于分享”的理念能够持续下去~~

第一期已经有了,我想第二期还会远吗?

技术沙龙PPT分享:

More...

《米特吧大数据线下技术交流沙龙第一期》开始了~~

作者: blogchong | 分类: 博客虫站内公告 | 评论:0人 | 浏览:

Hi,Guys
我是博客虫,从活动的发起、调研到现在的报名,已经有近一个星期了,这一个星期里,我一直在忙会场以及分享讲师的事情,基本上有个大概的结果了,所以,现在开放正式报名。

一、关于活动

之所以把这次线下活动命名为”米特吧大数据线下技术交流沙龙“,其实本意是能把这个沙龙一直做下去,这只是一个开头。然后这里将会沙龙活动的阵地,以后相关的事宜都会在这里发布,包括活动筹集、调研、报名、活动之后的干货分享等等诸如此类的东西将会记录在这里。
关于技术主题,首先当然是围绕大数据话题,第一期的话,根据我跟一些分享讲师的初步沟通,Storm会是重点内容。

二、沙龙分享主题
//这是初步大致的内容,之后会在本帖更新更详细的分享主题,甚至包括讲师介绍,详细分享内容介绍,欢迎继续跟进
(1)黄崇远   CSDN大数据应用挖掘工程师  《沙龙开题:进步始于交流,收获源于分享》 
讲师简介:
黄崇远,花名博客虫,CSDN大数据应用挖掘工程师,博客虫|大数据博客博主,大数据技术公众号[博客虫]撰稿者,沙龙活动组织者。目前专注于大规模数据数据处理、大数据应用挖掘。
(2)阿里  JStorm团队成员  《分享JStorm相关的内容》//具体讲师介绍以及详细的内容之后会给出
//资料待完善,欢迎持续跟进
(3)耿一斐  乐视云计算数据研发工程师  《海量数据处理之大跃进--自主bi系统"天到实时"》 
讲师简介:
耿一斐,乐视云计算数据研发工程师。具有实施一整套从数据采集到应用的大数据处理解决方案经验。三年的大数据处理和应用经验,目前专注于海量数据实时处理以及应用。
(4)杭建   随身移动后端技术负责人  《BigData in 中华万年历》 
讲师简介:
杭建,随身移动(即中华万年历)后端研发负责人。曾就职于网易杭州研究院,参与过运维平台、云计算动态负载均衡等基础平台的研发工作。后进入随身移动负责后端技术管理、研发。在JavaEE、中间件、基础系统架构等方面有多年的研究以及实践经验。
(5)胡夕   微博混合云系统负责人  《微博架构的实践与应用 
讲师简介:
胡夕,微博混合云系统负责人,曾就职于搜狗营销事业部、IBM中国研发中心,参与过搜狗商业平台大数据中心系统的设计与研发工作,后进入微博进行后端及架构方面的研发与管理。目前从事Mesos、Marathon和Docker方面的研发。
沙龙的过程包括技术分享,以及之后的自由交流的环节

More...

华为的StreamCQL,你“抄袭”了我的创意

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:2人 | 浏览:

文·博客虫

一、关于StreamCQL

关于StreamSQL,我是就在数个小时之前才知晓的,源自于《大数据上的流式SQL引擎--StreamSQL》这篇文章。

//哈哈,顺便为自己的p图技术,点个赞~~

其实就在昨天,部门内部就有同事分享在了部门内部群里,只是当时实在是忙蛋碎菊紧,所以就没有brid它。直到今天晚上(哦不,现在都过了凌晨,应该是昨天晚上了),又看到两个搞技术的朋友在微信朋友圈里分享了这篇文章。

并且,根据那些小伙伴转发的评论,似乎是这玩意儿要引领大数据实时处理领域的变革了。尼玛,这可不得了,要变天了,非得看看不可,所以就点了进去。

总结一下那篇文章的一些重点:首先这是华为开源的,名字叫StreamCQL;其以Storm为底层引擎,针对的是流式数据查询,提供类SQL的查询语句进行流式数据可持续性的查询;提供的特性有数据组合、拆分、统计、关联,然后再就是在滑窗内把这些操作做了一遍。

好吧,大概就这些,然后又举了一个类SQL的例子来说明StreamCQL的作用。

But,我发现我看了第一遍,我感觉很熟悉,然后我又针对StreamCQL特征部分以及实例部分又看了一遍,感觉更熟悉了。

然后我仔细的回忆了下,原来如此,这玩意儿早在三年前我就把原型做出来了!

More...

我所理解的大数据个性化推荐

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:3人 | 浏览:

一、写在之前的题外话

缘起。

想起要写这篇文章,一方面是昨天终于把项亮写的《推荐系统实践》给看完了,另一方面是自己负责的推荐系统项目已经处于一个多版本迭代的阶段了,并且从最近的AB测试效果来看,新提交的算法模型还是有一定的进步的,如今已经把流量全部切换到了新算法中。

所以,结合看书的一些思考,以及实际操作的一些感想,总是有一些想要表达、分享的东西,不吐不快啊~~ 哈哈!

More...

拨开大数据的迷雾

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:1人 | 浏览:

首先声明,文章所有观点不是什么定论,只是一家之言、个人观点而已,不管是认同者还是不认同者欢迎理智交流。

缘起

之所以有这么一个话题,确实是有原因的。就在前几天,我又收到了一个同行的邮件,是向我咨询关于大数据方向的问题。

可能是我的博客--博客虫|大数据博客的原因,可能是我录制的一些大数据课程的原因,也可能是在这个圈子里话稍微的多一些。这半年多来,陆陆续续总有十几个甚至于数十个相同话题的资讯邮件或者信息,无一例外:他们想涉足大数据这个领域,或者说已经涉足大数据这个领域,只是不知道下一步该如何进行,很是迷茫。

恰巧一个最近一个在亚信的老友,有意向跳槽,他这两年来基本做都是大数据BI领域多一些,对于Hive之类的比较熟悉,只是不知道将来跳槽具体往哪个方向去。

More...