【NGSOC】【诺亚平台】数据存储达到磁盘清除阈值后,但是磁盘使用率还在增长该怎么办?

龚亚发表于:2021年03月23日 01:44:14更新于:2021年06月23日 11:51:31

1 问题描述

       数据存储达到磁盘清除阈值后,但是磁盘使用率还在迅速增长

image.png

2 适用场景

  1. noah2.5/noah2.8版本   数据存储量达到设置的磁盘清除阈值后,磁盘占用率越来越大

3 原因分析

  • 原理分析:如图所示,诺亚平台上有告警阈值和清除阈值,即数据达到告警阈值之后就会出现弹窗提示客户后期可能需要调整存储策略或者扩容,否则达到清除阈值之后就会定时清除过期数据,直至占用率降低至清除阈值之下就不再删除了,如果数据存储达到90%,那么数据就会停止入库

  • image.png

  • image.png

  • 根据以上分析可知,存在以下2种情况会导致数据占用率越来越大:

  1. 数据清除策略执行失败

  2. 数据入库速度远远大于执行清除策略删除数据的速度

4 解决办法

注:删除数据操作比较危险,建议提case由二线或三线操作

  1. 查看删除数据的日志: vim /usr/local/noah/log/basp-monitor/server.log 确定清除策略是否正常执行,查看报错信息定位问题原因

  2. 跟客户商量下,哪些时间段的数据可以先手动删除用于降低磁盘使用率避免影响服务运行,反馈给二线三线

  3. 如果清除策略正常执行,但是占用率依旧增长的很快,那么需要评估客户环境是否需要扩容操作