大磁盘分区格式化XFS文件系统

发表于2016年6月14日由sylar
1、EXT文件系统限制 线上的kafka机器配置为12快盘做raid10，约24T。用mkfs.ext4格式化磁盘时，出现以下错误。 mkfs.ext4: Size of device /dev/iscsi/test too big to be expressed in 32 bit susing a blocksize o
发表在 os/linux | 标签为 , , | 留下评论

分享：唯品会大规模 Redis Cluster 的生产实践

发表于2016年6月8日由sylar
这篇Blog转载我在Redis中国用户组分享的PPT，原文地址：唯品会大规模 Redis Cluster 的生产实践 ———————————————̵
发表在 redis | 标签为 | 留下评论

redis 如何保证exipre操作幂等性

发表于2016年6月5日由sylar
之前在微信群讨论一个问题：redis启动时load aof文件会不存在因exipre 操作把key删除了?答案是不会的。 因为redis设计aof并用之恢复数据时，需要保证exipre等时间操作的幂等性（idempotent）。 1、为什么时间相操作
发表在 redis | 标签为 , | 一条评论

Hbase/Datanode几个异常问题

发表于2016年5月26日由sylar
最近搭建了一个集群给测试环境用，配置参数从生产拷贝过来的并不适用。启动和使用过程中，出现了几个异常。问题逐一排查下来，也增加了对hbase内部机制的理解。 异常问题分析思路建议如下： 1）分析日志上下文，重点
发表在 hbase | 留下评论

zookeeper session timeout

发表于2016年5月2日由sylar
zookeeper的超时时间由客户端参数和zookeeper server端启动时配置的参数决定的。 1）zk server端timeout参数 tickTime：zk的心跳间隔（heartbeat interval），也是session timeout基本单位。单位为微妙。 minSession
发表在 hbase | 标签为 | 留下评论

twemproxy集群生产总结

发表于2016年3月30日由sylar
twemproxy最早是2014年8.14大促开始使用的，当年也是史无前例的大促活动–撒娇节。之后就开始野蛮生长历程，大规模部署。到15年12月份，这种方案不再支持上线了。 目前大约还有120个twemproxy集群（应用）在线
发表在 redis | 标签为 , | 5条评论

tcp应答报文中sequence nummber 和ack number关系

发表于2016年1月28日由sylar
最近在优化之前开发的一个tcp抓包分析工具，这种工具主要通过获取应（request）答（response）报文的到达时间，分析服务的响应时间。 寻找应答报文主要是匹配报文中源地址（ip：port）、目的地址（ip：port），以及
发表在 develop, os/linux | 一条评论

regionserver请求不均匀

发表于2016年1月21日由sylar
1、regionserver请求不均匀 1）节点上的regions的个数是否基本一致，如果不一致做balance。 #开启balancer（hbase-0.94） hbase shell > balance_switch true #关闭 > balance_switch false 2）如果
发表在 hbase | 留下评论

hbase standalone模式部署和API测试

发表于2016年1月20日由sylar
1、配置JDK export JAVA_HOME=/apps/svr/jdk7 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:/apps/svr/jdk7/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HBASE_HOME=/apps/svr/hbase export PATH=${
发表在 hbase | 标签为 , | 留下评论

vm overcommit参数

发表于2016年1月11日由sylar
overcommit参数需要根据不同服务来进行调整，使内存得到充分利用的同时保证系统的稳定性。比如redis服务器建议把vm.overcommit_memory设置为1. 1、vm.overcommit_ratio 和 vm.overcommit_memory内核参数 参考资料，o
发表在 os/linux, redis | 标签为 , | 留下评论