【NGSOC】【日志采集】当诺亚的监控页面出现eps曲线图异常该如何处理?

马博01发表于:2021年04月06日 22:49:44更新于:2021年06月25日 09:34:04

1      问题描述

首先排查数据源确认有数据发送过来,例如天堤探针、syslog,可通过后台抓包或者通过kafka实时消费定位;

1、【状态监控】-【全流程监控(EPS)】只展示日志采集器发送速率,其他全为0,切换时间间隔无效,后台有数据正常写入ES

image2019-8-28_11-19-56.png?version=1&modificationDate=1566962376000&api=v2

2      适用场景

NOAH 1.X版本

3      原因分析

1、诺亚节点后台查看monitor状态正常:

image2019-8-28_11-26-43.png?version=1&modificationDate=1566962783000&api=v2

image2019-8-28_11-27-9.png?version=1&modificationDate=1566962808000&api=v2

2、重启诺亚采集器监控无效。

启动命令:systemctl start noah-monitor

停止命令:systemctl stop noah-monitor

3、重启诺亚采集器也无效。

启动命令:systemctl start noah-collector

停止命令:systemctl stop noah-collector

此问题原因已定位,诺亚计算各个流程EPS时会将大量eps数据写入PG数据库,写入频繁导致eps表无响应,monitor无法取到数据。此问题已经在诺亚0830版本修复。

4      解决办法

1、修改诺亚配置文件 vi /usr/local/noah/conf/application.yaml 将刷新间隔由10s改为60s

image2019-8-28_11-29-43.png?version=1&modificationDate=1566962963000&api=v2

2、清空eps表,该步骤涉及数据库操作,提case到二线操作;

3、重启诺亚采集器 systemctl restart noah-monitor

4、观察web监控状态

image2019-8-28_11-30-54.png?version=1&modificationDate=1566963034000&api=v2