kafka-0.8.2 新特性

生产上逐渐开始使用kafka-0.8.2.2,看了下release notes,没有大的变化,主要是bug的修复和功能的完善。学习下Neha Narkhede两年前分享的文章“whats coming in apache kafka-0.8.2”,一些新特性如下,同时也浏览了下0
发表在 kafka | 标签为 , | 留下评论

redis大量的连接创建导致cpu飙高

上个星期,在线上发现一个redis在只有200不到的qps时,进程cpu使用(top观测值)率达到了40%+。对于这个问题分析了好久,包括慢查询和响应时间的分析都无异常。决定对这个线上的redis进程做了一把strace操作,后果是
发表在 redis | 标签为 , | 留下评论

kafka优化–JVM参数配置优化

主要是启动脚本和log4j基本参数的设置和优化,这些参数藏的比较深。 1、JVM参数配置优化 如果使用的CMS GC算法,建议JVM Heap不要太大,在4GB以内就可以。JVM太大,导致Major GC或者Full GC产生的“stop the world”时
发表在 kafka | 标签为 | 留下评论

HBase启动异常

1 启动异常现象 1)通过hbase shell执行命令,发现处于“Master is initializing”状态。 2)Hbase集群初始化异常,namespace table 和meta table长期处于transition状态。 2016-11-24 13:05:45,738 INFO org.apache.h
发表在 hbase | 标签为 , | 留下评论

Kafka参数优化 — IO系统优化

1 IO Scheduler Centos6系统默认的IO调度器是CFQ(Completely Fair Queuing),Kafka是顺序IO读写模型,使用Deadline和NOOP无疑是更好地选择。 Deadline:对于读写操作有截止时间,对读和写操作用两条不同的队列管理
发表在 kafka | 留下评论

cassandra没法使用jps等工具

安装好cassandra之后,用jps发现没有cassandra服务进程。而netstat和ps显示进程和端口都已经启动。 google找到几篇相关的文章: [1] CASSANDRA-9483 [2] jps-or-jstat-unable-to-monitor-DSE-processes/cassandra
发表在 cassandra | 留下评论

大磁盘分区格式化XFS文件系统

1、EXT文件系统限制 线上的kafka机器配置为12快盘做raid10,约24T。用mkfs.ext4格式化磁盘时,出现以下错误。 mkfs.ext4: Size of device /dev/iscsi/test too big to be expressed in 32 bit susing a blocksize
发表在 os/linux | 标签为 , , | 留下评论

分享:唯品会大规模 Redis Cluster 的生产实践

这篇Blog转载我在Redis中国用户组分享的PPT,原文地址:唯品会大规模 Redis Cluster 的生产实践 ———————————————̵
发表在 redis | 标签为 | 留下评论

redis 如何保证exipre操作幂等性

之前在微信群讨论一个问题:redis启动时load aof文件会不存在因exipre 操作把key删除了?答案是不会的。 因为redis设计aof并用之恢复数据时,需要保证exipre等时间操作的幂等性(idempotent)。 1、为什么时间相操作
发表在 redis | 标签为 , | 一条评论

Hbase/Datanode几个异常问题

最近搭建了一个集群给测试环境用,配置参数从生产拷贝过来的并不适用。启动和使用过程中,出现了几个异常。问题逐一排查下来,也增加了对hbase内部机制的理解。 异常问题分析思路建议如下: 1)分析日志上下文,重点
发表在 hbase | 留下评论