【服务器安全管理系统】【云中心】es服务部署节点/data目录磁盘空间不足导致无法查询日志

Jack发表于:2020年09月15日 15:08:32更新于:2020年09月16日 10:41:18

适配版本


产品:服务器安全管理系统

版本:V7.2.0.6及以上分布式部署云中心

平台:Linux

关键字

关键报错信息:入侵检测-安全日志、事件回溯无日志显示

问题描述


业务账户登陆web页面,在入侵检测模块内查看安全日志、事件回溯日志均为空


报错信息


无关键报错信息


问题原因分析


1、查看es服务节点/data目录磁盘占用情况(通过回显判定原因为/data目录磁盘空间不足导致)

#df -h

image.png


解决方案


1、查看es集群当前状态(因案例es服务为五节点集群,所以必须保证通过此命令查询es集群状态时,显示五个es节点方可进行下一步操作,如果是单节点云中心直接看步骤2)

#curl "127.0.0.1:9200/_cat/nodes?v"

image.png

2、查看es索引文件(正常情况下回显索引文件各es节点均相同)

#curl -XGET "http://127.0.0.1:9200/_cat/indices" 

image.png

3、按日期对es索引文件进行检索(此处时间请按客户现场实际环境进行填写)

#curl -XGET "http://127.0.0.1:9200/_cat/indices" | grep 2020-05-30

image.png

4、删除相关es索引文件(命令执行完毕后,回显为true则表示命令执行成功)

#curl -XDELETE "http://127.0.0.1:9200/alarm_event_log--2020-05-30"

#curl -XDELETE "http://127.0.0.1:9200/event_log--2020-05-30"

#curl -XDELETE "http://127.0.0.1:9200/back_event_log--2020-05-30"

image.png

注意:执行删除索引文件动作前需与客户进行沟通,确认保留日志周期后方可进行操作。同时此文档仅用于方法总结,只显示删除一天的索引文件,现场具体删除索引文件数量,需自行决定。

5、验证索引文件是否删除成功

#curl -XGET "http://127.0.0.1:9200/_cat/indices" | grep 2020-05-30

image.png

6、查看/data目录磁盘占用情况

#df -h

image.png

7、查看es集群状态(如果是单节点云中心跳过该步骤,不用看)

#curl "127.0.0.1:9200/_cat/nodes?v"

image.png

通过此方法释放/data目录磁盘空间不涉及到重启服务,执行完毕后即可通过业务员账号登陆web页面进行日志查询验证。如还是无法查询日志,则与奇安信工程师联系开case进一步排查。