发表于 | 分类于
字数统计 2,116 | 阅读时长 8
Hbase MemStore Flush熟悉Hbase写流程的同学一定知道，我们Hbase写数据的时候，都是先写WAL日志的，然后再写到一个叫 MemStore 的内存结构里面，最终，MemStore 里面的数据需要 flush 持久化到磁盘，生成 HFile。有次来说，MemStore 的flus ...
阅读全文 »

发表于 | 分类于
字数统计 1,657 | 阅读时长 7
背景：线上通过webui监控发现，几乎所有的 regionserver 都宕机了，而且时间上是连续的。通过查看所有regionserver上的日志发现，有过 gc 时间超长的(20多秒)，也有 zk 连接超时的，还有在 major compaction 时宕机的。到这就很为难了。 措施：查看HBas ...
阅读全文 »

发表于 | 分类于
字数统计 906 | 阅读时长 4
初始化仓库1git init 查看修改用户名和用户邮箱123git --global user.name "your name"git --global user.email "youe email" 提交文件到仓库123git add file1 fil ...
阅读全文 »

发表于 | 分类于
字数统计 540 | 阅读时长 3
redis读取所有key和Value1./redis-cli -h 127.0.0.1 -p 6401 keys "*" | awk '{printf $0 ",";system("/data/redis/redis-cli -h 127.0.0.1 -p 6401 get " $0);& ...
阅读全文 »

发表于 | 分类于
字数统计 2,540 | 阅读时长 13
全是代码12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777 ...
阅读全文 »

发表于 | 分类于
字数统计 1,953 | 阅读时长 7
谨用作读《HBase不睡觉书》笔记 CAP理论 –> Base理论 –> NoSqlCAP 理论在一个分布式系统中， Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容忍性），三者不可得兼，这是是NOSQL数据库的基石。 ...
阅读全文 »

发表于 | 分类于
字数统计 4,478 | 阅读时长 22
一、基础理论Hbase是一个非分布式的，面向列的开源数据库 基于BigTable 非结构化 存储在HDFS上，备份机制 线性扩展 cluster / slave ：Hmaster、Regionserver Hbase架构图： 二、组件功能：Hbase数据模型：master负责维护表结构，reg ...
阅读全文 »

发表于 | 分类于
字数统计 1,327 | 阅读时长 8
HDFS上的小文件问题产生原因及后果产生原因：后果：几种文件合并的代码记录抽象类：1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859 ...
阅读全文 »

发表于 | 分类于
字数统计 862 | 阅读时长 3
1、compression默认值是 NONE 即不使用压缩， 这个参数意思是该列族是否采用压缩，采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 ...
阅读全文 »