HBase 常用Shell命令
Hbase / 2017-07-26

来源:http://www.cnblogs.com/nexiyi/p/hbase_shell.html 进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(mai…

HBase的rowkey设计以及列(column)上的索引
Hbase / 2017-07-26

来源:http://www.rockyqi.net/hbase-rowkey-design-and-column-index.html rowkey设计 官方推荐的row key设计的做法是: 减小row和column的长度(包括row key的名称,column family的名称,column的名称等) (有可能的话)使用数字类型(long等)代替字符类型(string)作为数据进行存储(因为…

java实现文件实时监控:Jnotify和FileAlteration
大数据架构 / 2017-07-25

来源:http://blog.csdn.net/qqchaozai/article/details/41282031 一、实时监控使用场景 (a)实时刷新文件缓存,比如页面图片 (b)实时刷新工程配置文件 (c)实时同步文件到镜像路径,比如与rsync结合,实现跨平台实时同步 二、Jnotify 官网地址:Jnotify JNotify is a Java library that allow j…

Apache Spark和Apache Storm的区别
Spark , Storm / 2017-07-18

来源:http://www.vimsky.com/2017/02/1230.html?utm_source=tuicool&utm_medium=referral Apache Spark和Apache Store的区别是什么?他们各自适用于什么样的应用场景?这是stackoverflow上的一个问题,这里整理简要版回答如下: Apache Spark是基于内存的分布式数据分析平台,旨在解…

Hbase表设计
Hbase / 2017-07-15

来源:http://blog.csdn.net/yfkiss/article/details/26380467 背景知识 HBase基本类型定义: Table:表 RowKey:行健,主键 Column Family:列族,包含一个或者多个相关列 Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加 timestamp:每次操作对应的时间…

CentOS7集群配置ntp时间同步服务
Hadoop , Hbase / 2017-07-14

来源:http://www.cnblogs.com/freeweb/p/5390552.html 集群中时间不同步有可能会让大数据的应用程序运行混乱,造成不可预知的问题,比如Hbase,当时间差别过大时就会挂掉,所以在大数据集群中,ntp服务,应该作为一种基础的服务,以下在演示在CentOS 7.2集群上配置ntp服务的过程 首先检查系统中是否安装ntp包: rpm -q ntp 我这里是只是基础…

Hadoop 3.0分布式集群安装
Hadoop / 2017-07-06

来源:http://mp.weixin.qq.com/s/iaR9_dBAGhmtSF062FOiKQ 在搭建Hadoop分布式集群之前,我们需要先准备好3台主机,分别安装好Linux系统,并完成Linux系统的网络配置和系统配置。相关资料:史上最全的Linux资料包,视频、电子书、PPT应有尽有。领取办法:关注“大数据研习社”后,微信后台回复“Linux”,即可获得私密下载链接。 大数据实战项目…

【HBase调优】Hbase万亿级存储性能优化总结
Hbase / 2017-07-06

来源:http://blog.csdn.NET/odailidong/article/details/41794403 背景:HBase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,HBase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开…

Hadoop主要配置文件参数说明
Hadoop / 2017-07-05

一.获取默认配置 在配置Hadoop的时候主要有三个配置文件core-site.xml,hdfs-site.xml,mapred-site.xml。默认都是空的,如何知道配置文件中都有哪些配置可以生效,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配…