欢迎关注“数据虫巢(微信号blogchong)”,个人微信号mute88,数据虫巢私密群启动招募啦!

[置顶] 数据虫巢-提供专业的大数据解决方案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:1人 | 浏览:

[置顶] 米特吧大数据技术沙龙第二期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:4人 | 浏览:

[置顶] 米特吧大数据技术沙龙第一期干货分享

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:1人 | 浏览:

[置顶] 我所理解的大数据个性化推荐

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:2人 | 浏览:

[置顶] 这些年,这些挖掘机算法,这些反思

作者: blogchong | 分类: 原创-我的互联网简历 | 评论:8人 | 浏览:

[置顶] 数据平台架构草案

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:3人 | 浏览:

mac os 配置 storm+kafka+zookeeper配置

作者: EXEC | 分类: 原创-Storm实时处理 | 评论:0人 | 浏览:

首先确定由jdk scala环境

JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home
export PATH=${PATH}:${JAVA_HOME}/bin
SCALA_HOME=/Users/luping/develop/dev/scala-2.10.3
export PATH=${PATH}:${SCALA_HOME}/bin

zookeeper

More...

Hive UDF实例--过滤字符串首尾字符

作者: blogchong | 分类: 原创-Hadoop大数据 | 评论:0人 | 浏览:

Hive UDF实例--过滤字符串首尾字符.

源码如下:

package com.hive.udf;  
  
import org.apache.commons.lang.StringUtils;  
import org.apache.hadoop.hive.ql.exec.UDF;  
import org.apache.hadoop.io.Text;  
  
public class Trim extends UDF {  
    private Text res = new Text();  
  
    public Text evaluate(String str) {  
  
        if (str == null) {  
            return null;  
        }  
        res.set(StringUtils.strip(str.toString()));  
  
        return res;  
    }  
      
    public Text evaluate(Text str,String stripChars){  
        if (str == null) {  
            return null;  
        }  
          
        res.set(StringUtils.strip(str.toString(),stripChars));  
        return res;  
          
    }  
}

编写完代码之后,导出jar包。

More...

R语言知识体系概览

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

前言

最近遇到很多的程序员都想转行到数据分析,于是就开始学习R语言。总以为有了其他语言的编程背景,学习R语言就是一件很简单的事情,一味地追求速度,但不求甚解,有些同学说2周就能掌握R语言,但掌握的仅仅是R语言的语法,其实这只能算是入门。

More...

博客虫资料分享第三期《2013-2014BDTC》

作者: blogchong | 分类: 原创-博客虫资料分享 | 评论:0人 | 浏览:

博客虫资料分享第三波来袭,主要是前上两个星期前的2014BDTC(大数据大会)的PPT资料,此外顺便也把2013年的部分资料一起打包,需要的拿去~~

More...

Redis集群(Redis3.0)

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

一 redis集群概况

1 redis cluster的现状

More...

Jedis接口实例(Redis)

作者: 大数据编辑 | 分类: Storm|DM|Hadoop|NoSql | 评论:0人 | 浏览:

包括连接池的使用及 jedis对string 、set、sortset、list、hash的所有常规操作。

redis.properties文件:

#\u63A7\u5236\u4E00\u4E2Apool\u53EF\u5206\u914D\u591A\u5C11\u4E2Ajedis\u5B9E\u4F8B\uFF0C\u901A\u8FC7pool.getResource()\u6765\u83B7\u53D6\uFF1B\u5982\u679C\u8D4B\u503C\u4E3A-1\uFF0C\u5219\u8868\u793A\u4E0D\u9650\u5236\uFF1B\u5982\u679Cpool\u5DF2\u7ECF\u5206\u914D\u4E86maxActive\u4E2Ajedis\u5B9E\u4F8B\uFF0C\u5219\u6B64\u65F6pool\u7684\u72B6\u6001\u5C31\u6210exhausted\u4E86\uFF0C\u5728JedisPoolConfig
redis.pool.maxActive=1024
#\u63A7\u5236\u4E00\u4E2Apool\u6700\u591A\u6709\u591A\u5C11\u4E2A\u72B6\u6001\u4E3Aidle\u7684jedis\u5B9E\u4F8B\uFF1B
redis.pool.maxIdle=200
#\u8868\u793A\u5F53borrow\u4E00\u4E2Ajedis\u5B9E\u4F8B\u65F6\uFF0C\u6700\u5927\u7684\u7B49\u5F85\u65F6\u95F4\uFF0C\u5982\u679C\u8D85\u8FC7\u7B49\u5F85\u65F6\u95F4\uFF0C\u5219\u76F4\u63A5\u629B\u51FAJedisConnectionException\uFF1B
redis.pool.maxWait=1000
#\u5728borrow\u4E00\u4E2Ajedis\u5B9E\u4F8B\u65F6\uFF0C\u662F\u5426\u63D0\u524D\u8FDB\u884Calidate\u64CD\u4F5C\uFF1B\u5982\u679C\u4E3Atrue\uFF0C\u5219\u5F97\u5230\u7684jedis\u5B9E\u4F8B\u5747\u662F\u53EF\u7528\u7684\uFF1B
redis.pool.testOnBorrow=true
#\u5728return\u7ED9pool\u65F6\uFF0C\u662F\u5426\u63D0\u524D\u8FDB\u884Cvalidate\u64CD\u4F5C\uFF1B
redis.pool.testOnReturn=true
#ip
redis.ip=yourip
#port
redis.port=6379
#password
redis.password=yourword

//接口操作

More...

Redis集群部署以及主从配置

作者: blogchong | 分类: 原创-NoSql | 评论:0人 | 浏览:

Redis简介

这里就直接略过了,可参Redis介绍以及安装部署配置

More...