NameNode性能优化(1):RPC队列拆分

一、Service RPC port NameNode默认使用8020端口侦听所有的RPC请求(HDP版本),包括客户端数据请求,DataNode心跳和block上报,ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时,RPC请求响应时间也变得
发表在 Hadoop | 标签为 , | 留下评论

YARN NodeManager 动态更新资源配置参数

1、动态更新yarn nodemanager资源分配 在配置目录下,增加dynamic-resources.xml配置文件,内容如下, <configuration> <property> <name>yarn.resource.dynamic.${HOSTNAME}:45454.memory&
发表在 Hadoop | 标签为 , , | 留下评论

HBase Direct Memory OutOfMemory

1、java.lang.OutOfMemoryError: Direct buffer memory 最近对一个HBase集群增加了BucketCache配置,减少其堆内内存GC已达到提升新能的目的。 但是,没过多久整个集群就出现了大面积OOM现象,而且是发生在Direct Mem
发表在 hbase | 标签为 | 留下评论

NodeManger重启时恢复killed job的container

直接上错误日志,日志中提示分配资源给container_e11_1531648435560_0733_01_000003出现异常。 继续往上搜索日志,发现对应的application已经出于killed by user状态。 Container exited with a non-zero exit code
发表在 Hadoop | 标签为 | 留下评论

__consumer_offser大量提交写入导致broker负载不均匀

一、broker请求不均匀的异常现象 通过监控系统发现,broker总的messages量和__consumer_offsets单个topic messages数据量在kf19这个节点上比其它节点要高出很多。 二、consumer offsets提交方式和写入策略 官方文
发表在 kafka | 留下评论

OpenTSDB参数优化和TSD服务监控

一、编译安装注意点 在编译安装OpenTSDB时,需要注意几点 1、configure时指定安装路径,make install时会把生成的tsdb bin文件和依赖文件复制这个目录中。 ./configure --prefix=/usr/local/bin/opentsdb 2、修改bi
发表在 hbase | 留下评论

How to repair redis cluster inconsistent or unstable state ?

在redis cluster进行在线扩容过时,需要迁移slot和对应的数据,有时候出现一些莫名其妙的错误,或者redis-trib.rb reshard突然中断。比如,提示“Nodes don’t agree about configuration”,或者提示节点处于imp
发表在 redis | 标签为 , , , | 2条评论

The slow query on the master caused the redis replication lag

Redis复制延迟问题在线上已经碰到过多次,多个同事找我也问起这个问题。事出异常必有妖,必然有蛛丝马迹可以寻找到真相。用最近的线上的一个redis产生replication lag问题,详细介绍下如何分析该类问题。 1 Redis Re
发表在 redis | 标签为 , , | 留下评论

kafka-0.8.2 新特性

生产上逐渐开始使用kafka-0.8.2.2,看了下release notes,没有大的变化,主要是bug的修复和功能的完善。学习下Neha Narkhede两年前分享的文章“whats coming in apache kafka-0.8.2”,一些新特性如下,同时也浏览了下0
发表在 kafka | 标签为 , | 留下评论

redis大量的连接创建导致cpu飙高

上个星期,在线上发现一个redis在只有200不到的qps时,进程cpu使用(top观测值)率达到了40%+。对于这个问题分析了好久,包括慢查询和响应时间的分析都无异常。决定对这个线上的redis进程做了一把strace操作,后果是
发表在 redis | 标签为 , | 留下评论