HBase启动异常

1 启动异常现象 1)通过hbase shell执行命令,发现处于“Master is initializing”状态。 2)Hbase集群初始化异常,namespace table 和meta table长期处于transition状态。 2016-11-24 13:05:45,738 INFO org.apache.h
发表在 hbase | 标签为 , | 留下评论

Kafka参数优化 — IO系统优化

1 IO Scheduler Centos6系统默认的IO调度器是CFQ(Completely Fair Queuing),Kafka是顺序IO读写模型,使用Deadline和NOOP无疑是更好地选择。 Deadline 对于读写操作有截止时间,对读和写操作用两条不同的队列管理
发表在 kafka | 留下评论

cassandra没法使用jps等工具

安装好cassandra之后,用jps发现没有cassandra服务进程。而netstat和ps显示进程和端口都已经启动。 google找到几篇相关的文章: [1] CASSANDRA-9483 [2] jps-or-jstat-unable-to-monitor-DSE-processes/cassandra
发表在 cassandra | 留下评论

大磁盘分区格式化XFS文件系统

1、EXT文件系统限制 线上的kafka机器配置为12快盘做raid10,约24T。用mkfs.ext4格式化磁盘时,出现以下错误。 4198a6e7914a403f9d7c452a9ea81450000 对于64位系统,理论上EXT4文件系统支持单分区最大上线为1EiB(102
发表在 os/linux | 标签为 , , | 留下评论

分享:唯品会大规模 Redis Cluster 的生产实践

这篇Blog转载我在Redis中国用户组分享的PPT,原文地址:唯品会大规模 Redis Cluster 的生产实践 ———————————————̵
发表在 redis | 标签为 | 留下评论

redis 如何保证exipre操作幂等性

之前在微信群讨论一个问题:redis启动时load aof文件会不存在因exipre 操作把key删除了?答案是不会的。 因为redis设计aof并用之恢复数据时,需要保证exipre等时间操作的幂等性(idempotent)。 1、为什么时间相操作
发表在 redis | 标签为 , | 一条评论

Hbase/Datanode几个异常问题

最近搭建了一个集群给测试环境用,配置参数从生产拷贝过来的并不适用。启动和使用过程中,出现了几个异常。问题逐一排查下来,也增加了对hbase内部机制的理解。 异常问题分析思路建议如下: 1)分析日志上下文,重点
发表在 hbase | 留下评论

zookeeper session timeout

zookeeper的超时时间由客户端参数和zookeeper server端启动时配置的参数决定的。 1)zk server端timeout参数 tickTime:zk的心跳间隔(heartbeat interval),也是session timeout基本单位。单位为微妙。 minSession
发表在 hbase | 标签为 | 留下评论

twemproxy集群生产总结

twemproxy最早是2014年8.14大促开始使用的,当年也是史无前例的大促活动–撒娇节。之后就开始野蛮生长历程,大规模部署。到15年12月份,这种方案不再支持上线了。 目前大约还有120个twemproxy集群(应用)在线
发表在 redis | 标签为 , | 5条评论

tcp应答报文中sequence nummber 和ack number关系

最近在优化之前开发的一个tcp抓包分析工具,这种工具主要通过获取应(request)答(response)报文的到达时间,分析服务的响应时间。寻找应答报文主要是匹配报文中源地址(ip:port)、目的地址(ip:port),以及处
发表在 develop, os/linux | 留下评论