__consumer_offser大量提交写入导致broker负载不均匀

发表于2018年5月31日由sylar
一、broker请求不均匀的异常现象 通过监控系统发现，broker总的messages量和__consumer_offsets单个topic messages数据量在kf19这个节点上比其它节点要高出很多。 二、consumer offsets提交方式和写入策略 官方文
发表在 kafka | 留下评论

OpenTSDB参数优化和TSD服务监控

发表于2018年5月29日由sylar
一、编译安装注意点 在编译安装OpenTSDB时，需要注意几点 1、configure时指定安装路径,make install时会把生成的tsdb bin文件和依赖文件复制这个目录中。 ./configure --prefix=/usr/local/bin/opentsdb 2、修改bi
发表在 hbase | 留下评论

How to repair redis cluster inconsistent or unstable state ?

发表于2017年4月15日由sylar
在redis cluster进行在线扩容过时，需要迁移slot和对应的数据，有时候出现一些莫名其妙的错误，或者redis-trib.rb reshard突然中断。比如，提示“Nodes don’t agree about configuration”，或者提示节点处于imp
发表在 redis | 标签为 , , , | 2条评论

The slow query on the master caused the redis replication lag

发表于2017年4月6日由sylar
Redis复制延迟问题在线上已经碰到过多次，多个同事找我也问起这个问题。事出异常必有妖，必然有蛛丝马迹可以寻找到真相。用最近的线上的一个redis产生replication lag问题，详细介绍下如何分析该类问题。 1 Redis Re
发表在 redis | 标签为 , , | 留下评论

kafka-0.8.2 新特性

发表于2016年12月21日由sylar
生产上逐渐开始使用kafka-0.8.2.2，看了下release notes，没有大的变化，主要是bug的修复和功能的完善。学习下Neha Narkhede两年前分享的文章“whats coming in apache kafka-0.8.2”，一些新特性如下,同时也浏览了下0
发表在 kafka | 标签为 , | 留下评论

redis大量的连接创建导致cpu飙高

发表于2016年12月19日由sylar
上个星期，在线上发现一个redis在只有200不到的qps时，进程cpu使用（top观测值）率达到了40%+。对于这个问题分析了好久，包括慢查询和响应时间的分析都无异常。决定对这个线上的redis进程做了一把strace操作，后果是
发表在 redis | 标签为 , | 留下评论

kafka优化–JVM参数配置优化

发表于2016年12月16日由sylar
主要是启动脚本和log4j基本参数的设置和优化，这些参数藏的比较深。 1、JVM参数配置优化 如果使用的CMS GC算法，建议JVM Heap不要太大，在4GB以内就可以。JVM太大，导致Major GC或者Full GC产生的“stop the world”时
发表在 kafka | 标签为 | 一条评论

HBase启动异常

发表于2016年11月30日由sylar
1 启动异常现象 1）通过hbase shell执行命令，发现处于“Master is initializing”状态。 2）Hbase集群初始化异常，namespace table 和meta table长期处于transition状态。 2016-11-24 13:05:45,738 INFO org.apache.h
发表在 hbase | 标签为 , | 留下评论

Kafka参数优化 — IO系统优化

发表于2016年11月28日由sylar
1 IO Scheduler Centos6系统默认的IO调度器是CFQ（Completely Fair Queuing），Kafka是顺序IO读写模型，使用Deadline和NOOP无疑是更好地选择。 Deadline:对于读写操作有截止时间，对读和写操作用两条不同的队列管理
发表在 kafka | 留下评论

cassandra没法使用jps等工具

发表于2016年9月7日由sylar
安装好cassandra之后，用jps发现没有cassandra服务进程。而netstat和ps显示进程和端口都已经启动。 google找到几篇相关的文章： [1] CASSANDRA-9483 [2] jps-or-jstat-unable-to-monitor-DSE-processes/cassandra
发表在 cassandra | 留下评论