How to repair redis cluster inconsistent or unstable state ?

在redis cluster进行在线扩容过时,需要迁移slot和对应的数据,有时候出现一些莫名其妙的错误,或者redis-trib.rb reshard突然中断。比如,提示“Nodes don’t agree about configuration”,或者提示节点处于imp
发表在 redis | 标签为 , , , | 留下评论

The slow query on the master caused the redis replication lag

Redis复制延迟问题在线上已经碰到过多次,多个同事找我也问起这个问题。事出异常必有妖,必然有蛛丝马迹可以寻找到真相。用最近的线上的一个redis产生replication lag问题,详细介绍下如何分析该类问题。 1 Redis Re
发表在 redis | 标签为 , , | 留下评论

kafka-0.8.2 新特性

生产上逐渐开始使用kafka-0.8.2.2,看了下release notes,没有大的变化,主要是bug的修复和功能的完善。学习下Neha Narkhede两年前分享的文章“whats coming in apache kafka-0.8.2”,一些新特性如下,同时也浏览了下0
发表在 kafka | 标签为 , | 留下评论

redis大量的连接创建导致cpu飙高

上个星期,在线上发现一个redis在只有200不到的qps时,进程cpu使用(top观测值)率达到了40%+。对于这个问题分析了好久,包括慢查询和响应时间的分析都无异常。决定对这个线上的redis进程做了一把strace操作,后果是
发表在 redis | 标签为 , | 留下评论

kafka优化–JVM参数配置优化

主要是启动脚本和log4j基本参数的设置和优化,这些参数藏的比较深。 1、JVM参数配置优化 如果使用的CMS GC算法,建议JVM Heap不要太大,在4GB以内就可以。JVM太大,导致Major GC或者Full GC产生的“stop the world”时
发表在 kafka | 标签为 | 留下评论

HBase启动异常

1 启动异常现象 1)通过hbase shell执行命令,发现处于“Master is initializing”状态。 2)Hbase集群初始化异常,namespace table 和meta table长期处于transition状态。 2016-11-24 13:05:45,738 INFO org.apache.h
发表在 hbase | 标签为 , | 留下评论

Kafka参数优化 — IO系统优化

1 IO Scheduler Centos6系统默认的IO调度器是CFQ(Completely Fair Queuing),Kafka是顺序IO读写模型,使用Deadline和NOOP无疑是更好地选择。 Deadline:对于读写操作有截止时间,对读和写操作用两条不同的队列管理
发表在 kafka | 留下评论

cassandra没法使用jps等工具

安装好cassandra之后,用jps发现没有cassandra服务进程。而netstat和ps显示进程和端口都已经启动。 google找到几篇相关的文章: [1] CASSANDRA-9483 [2] jps-or-jstat-unable-to-monitor-DSE-processes/cassandra
发表在 cassandra | 留下评论

大磁盘分区格式化XFS文件系统

1、EXT文件系统限制 线上的kafka机器配置为12快盘做raid10,约24T。用mkfs.ext4格式化磁盘时,出现以下错误。 mkfs.ext4: Size of device /dev/iscsi/test too big to be expressed in 32 bit susing a blocksize
发表在 os/linux | 标签为 , , | 留下评论

分享:唯品会大规模 Redis Cluster 的生产实践

这篇Blog转载我在Redis中国用户组分享的PPT,原文地址:唯品会大规模 Redis Cluster 的生产实践 ———————————————̵
发表在 redis | 标签为 | 留下评论