twemproxy集群生产总结

发表于2016年3月30日由sylar
twemproxy最早是2014年8.14大促开始使用的，当年也是史无前例的大促活动–撒娇节。之后就开始野蛮生长历程，大规模部署。到15年12月份，这种方案不再支持上线了。 目前大约还有120个twemproxy集群（应用）在线
发表在 redis | 标签为 , | 5条评论

tcp应答报文中sequence nummber 和ack number关系

发表于2016年1月28日由sylar
最近在优化之前开发的一个tcp抓包分析工具，这种工具主要通过获取应（request）答（response）报文的到达时间，分析服务的响应时间。 寻找应答报文主要是匹配报文中源地址（ip：port）、目的地址（ip：port），以及
发表在 develop, os/linux | 一条评论

regionserver请求不均匀

发表于2016年1月21日由sylar
1、regionserver请求不均匀 1）节点上的regions的个数是否基本一致，如果不一致做balance。 #开启balancer（hbase-0.94） hbase shell > balance_switch true #关闭 > balance_switch false 2）如果
发表在 hbase | 留下评论

hbase standalone模式部署和API测试

发表于2016年1月20日由sylar
1、配置JDK export JAVA_HOME=/apps/svr/jdk7 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:/apps/svr/jdk7/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HBASE_HOME=/apps/svr/hbase export PATH=${
发表在 hbase | 标签为 , | 留下评论

vm overcommit参数

发表于2016年1月11日由sylar
overcommit参数需要根据不同服务来进行调整，使内存得到充分利用的同时保证系统的稳定性。比如redis服务器建议把vm.overcommit_memory设置为1. 1、vm.overcommit_ratio 和 vm.overcommit_memory内核参数 参考资料，o
发表在 os/linux, redis | 标签为 , | 留下评论

Redis RDB持久化

发表于2015年11月19日由sylar
redis持久化 redis提供了两种把内存数据持久化到磁盘的方式，RDB快照方式和AOF日志方式。 不论使用那种方式，都无法保证redis数据一点都不丢失。rdb只是redis在某一时刻的数据快照snapshot，数据丢失程度主要取决于
发表在 redis | 留下评论

kafka扩容节点和partitions迁移

发表于2015年11月5日由sylar
kafka的扩容难点： 1）主要在于增加机器之后，数据需要rebalance到新增的空闲节点，即把partitions迁移到空闲机器上。 kafka提供了bin/kafka-reassign-partitions.sh工具，完成parttition的迁移。 2）kafka的集群的
发表在 kafka | 标签为 , | 留下评论

redis cluster创建

发表于2015年8月19日由sylar
redis cluster集群的创建可以用redis-trib.rb工具快速完成。这里主要是手动搭建一个集群的过程，简单介绍一下集群构建原理。 1 配置redis节点 redis cluster集群至由3个redis节点构成。在redis配置文件中开启cluster
发表在 redis | 标签为 | 留下评论

redis sentinel基本命令与参数

发表于2015年5月4日由sylar
1、redis基本命令 1）获取sentinel的状态 (1）info 查看sentinel的zhuangtai (2）sentinel masters 获取sentinel中监控的所有master的节点 (3）sentinel master 获取master-name节点redis的状态
发表在 redis | 留下评论

redis sentinel failover测试

发表于2015年4月30日由sylar
1、Setinel的参数配置 1） 主观下线时间（down-after-milliseconds）：20s，20s没有收到redis的任何回复，sentinel认为redis已经下线。 2） 客观下线：sentinel集群中一半以上的节点都确认了主观下线，redis将进入
发表在 redis | 标签为 , , , | 留下评论