Hbases实践

What

非关系型数据库

高可靠性
高性能
面向列
可伸缩
实时读写
分布式

对比

关系型数据库的优点
- 容易理解
- 使用方便
- 易于维护
关系型数据库的瓶颈
- 高并发读写需求
- 海量数据的读写性能低
- 扩展性和可用性差

数据库模型

row key
- 不能重复
- 字典顺序排序
- 只能存储64k的字节
列族
- 小于等于3个
列名
- 以列族作为前缀
- 可动态加入

celll单元格

有版本

字节数组

1	{row key， column( =<family> +<qualifier>)， version}

时间戳
- 默认是1
- 时间倒序排序，最新最前
- 64位整型
- 默认精确到毫秒，可以主动设置
Hlog (wal log)
- HLogkey 数据归属信息
  - table
  - region
  - sequence number
  - timestamp
- value
  - 就是hbase的 keyvale对象

体系架构

client
zookeeper
- 保证集群只有一个master
- 存储 region的寻址入口
- 监控region
master
- 负责负载均衡
- 发现失效region server 重新分配region
- 管理用户CRUD
Region server
- 维护region
region
- d
store 一个store对应一个CF(列族)
- memstore
- storefile

高表与宽表的选择

查询性能高表更好
分片能力高表更细
元数据开发高表更大 rowkey 多，region 多 meta 数据量大
事务能力宽表事务性更好
数据压缩比宽表更高

Where

http://hbase.apache.org

Why

How

squirrel sql client

cd /opt/soft
wget http://mirrors.cnnic.cn/apache/hbase/0.98.24/hbase-0.98.24-hadoop2-bin.tar.gz
tar zxvf hbase-0.98.24-hadoop2-bin.tar.gz

vi ~/.bash_profile 增加

1 2	export HBASE_HOME=/app/hbase-0.96.2 export PATH=$PATH:$HBASE_HOME/bin

发送打其它节点

1 2	scp ~/.bash_profile root@sj-node2:/root scp ~/.bash_profile root@sj-node3:/root

source ~/.bash_profile 生效

vi /opt/soft/hbase-0.98.24-hadoop2/conf/hbase-env.sh 修改

1
2
3

export JAVA_HOME=/opt/soft/jdk1.7.0_25
export HBASE_CLASSPATH=/opt/soft/hadoop-2.5.1
export HBASE_MANAGES_ZK=false

vim /opt/soft/hbase-0.98.24-hadoop2/conf/hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://appcity:8020/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>sj-node1,sj-node2,sj-node3</value>
</property>

vim /opt/soft/hbase-0.98.24-hadoop2/conf/regionservers
1
2
sj-node1
sj-node2
vim /opt/soft/hbase-0.98.24-hadoop2/conf/backup-masters
1
sj-node2
拷贝hdfs的配置文件到hbase配置目录下 cp /opt/soft/hadoop-2.5.1/etc/hadoop/hdfs-site.xml /opt/soft/hbase-0.98.24-hadoop2/conf/
将配置好的hbase发送到其它节点 scp -r /opt/soft/hbase-0.98.24-hadoop2 root@sj-node2:/opt/soft/ scp -r /opt/soft/hbase-0.98.24-hadoop2 root@sj-node3:/opt/soft/
在sj-node1节点上启动 start-hbase.sh
在webL浏览器访问 http://sj-node1:60010
试下ha高可用 kill 调用sj-node1上的master 自动切换完成