kafka修改topic retention.ms参数执行异常

通过kafka-topic.sh脚本修改retention.ms参数后,发现磁盘空间一直没有释放. 查看server.log发现提示”ERROR Error processing notification change for path = /config/changes”的错误。 [2019-03-07 2
发表在 kafka | 标签为 , | 留下评论

hbase table中VERSIONS、MIN_VERSIONS和TTL参数关系

1、VERSIONS 1)作用范围在单个column family上, 2)定义该column family内单行数据最多保留多少个版本, 3)多余的版本会在major compaction时候删除掉。 4)0.98版本之后,默认值1。 2、MIN_VERSIONS 1)作用范围
发表在 hbase | 标签为 , , | 留下评论

NameNode性能优化(1):RPC队列拆分

一、Service RPC port NameNode默认使用8020端口侦听所有的RPC请求(HDP版本),包括客户端数据请求,DataNode心跳和block上报,ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时,RPC请求响应时间也变得
发表在 Hadoop | 标签为 , | 留下评论

YARN NodeManager 动态更新资源配置参数

1、动态更新yarn nodemanager资源分配 在配置目录下,增加dynamic-resources.xml配置文件,内容如下, <configuration> <property> <name>yarn.resource.dynamic.${HOSTNAME}:45454.memory&
发表在 Hadoop | 标签为 , , | 留下评论

HBase Direct Memory OutOfMemory

1、java.lang.OutOfMemoryError: Direct buffer memory 最近对一个HBase集群增加了BucketCache配置,减少其堆内内存GC已达到提升新能的目的。 但是,没过多久整个集群就出现了大面积OOM现象,而且是发生在Direct Mem
发表在 hbase | 标签为 | 留下评论

NodeManger重启时恢复killed job的container

直接上错误日志,日志中提示分配资源给container_e11_1531648435560_0733_01_000003出现异常。 继续往上搜索日志,发现对应的application已经出于killed by user状态。 Container exited with a non-zero exit code
发表在 Hadoop | 标签为 | 留下评论

__consumer_offser大量提交写入导致broker负载不均匀

一、broker请求不均匀的异常现象 通过监控系统发现,broker总的messages量和__consumer_offsets单个topic messages数据量在kf19这个节点上比其它节点要高出很多。 二、consumer offsets提交方式和写入策略 官方文
发表在 kafka | 留下评论

OpenTSDB参数优化和TSD服务监控

一、编译安装注意点 在编译安装OpenTSDB时,需要注意几点 1、configure时指定安装路径,make install时会把生成的tsdb bin文件和依赖文件复制这个目录中。 ./configure --prefix=/usr/local/bin/opentsdb 2、修改bi
发表在 hbase | 留下评论

How to repair redis cluster inconsistent or unstable state ?

在redis cluster进行在线扩容过时,需要迁移slot和对应的数据,有时候出现一些莫名其妙的错误,或者redis-trib.rb reshard突然中断。比如,提示“Nodes don’t agree about configuration”,或者提示节点处于imp
发表在 redis | 标签为 , , , | 2条评论

The slow query on the master caused the redis replication lag

Redis复制延迟问题在线上已经碰到过多次,多个同事找我也问起这个问题。事出异常必有妖,必然有蛛丝马迹可以寻找到真相。用最近的线上的一个redis产生replication lag问题,详细介绍下如何分析该类问题。 1 Redis Re
发表在 redis | 标签为 , , | 留下评论