运用Logstash搜集MongoDB日志并经过Zabbix报警51CTO博客 - 亚美娱乐

运用Logstash搜集MongoDB日志并经过Zabbix报警51CTO博客

2019年03月01日10时53分26秒 | 作者: 亦巧 | 标签: 日志,运用,经过 | 浏览: 2799

一 运用场景描绘

 在有些情况下,只是经过Zabbix去监控MongoDB的端口和各种状况还不行,MongoDB的日志监控也是很重要的。例如Mongos衔接后端的Shard报SocketException过错等。


二 运用Logstash剖析MongoDB日志

要记载慢查询首要需求敞开慢查询记载功用

use jd05;

db.setProfilingLevel(1,50)
{ "was" : 1, "slowms" : 50, "ok" : 1 }

1表明只记载慢查询,慢于50毫秒的操作会被记载


假如写成2就会记载一切的操作,不主张在出产环境中运用,能够在开发环境中运用

db.setProfilingLevel(2)


在MongoDB的日志文件中会记载如下操作信息:

Mon Apr 27 16:45:01.853 [conn282854698] command jd01.$cmd command: { count: "player", query: { request_time: { $gte: 1430123701 } } } ntoreturn:1 keyUpdates:0 numYields: 7 locks(micros) r:640822 reslen:48 340ms



logstash装备文件shipper_mongodb.conf如下


input {
  file {
    path => "/data/app_data/mongodb/log/*.log"
    type => "mongodb"
    sincedb_path => "/dev/null"
       }
     }

filter {
  if [type]  "mongodb" {
     grok {
       match => ["message","(?m)%{GREEDYDATA} \[conn%{NUMBER:mongoConnection}\] %{WORD:mongoCommand} %{WORD:mongoDatabase}.%{NOTSPACE:mongoCollection} %{WORD}: \{ %{GREEDYDATA:mongoStatement} \} %{GREEDYDATA} %{NUMBER:mongoElapsedTime:int}ms"
]
       add_tag => "mongodb"
     }
     grok {
       match => ["message"," cursorid:%{NUMBER:mongoCursorId}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," ntoreturn:%{NUMBER:mongoNumberToReturn:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," ntoskip:%{NUMBER:mongoNumberToSkip:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," nscanned:%{NUMBER:mongoNumberScanned:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," scanAndOrder:%{NUMBER:mongoScanAndOrder:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," idhack:%{NUMBER:mongoIdHack:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," nmoved:%{NUMBER:mongoNumberMoved:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," nupdated:%{NUMBER:mongoNumberUpdated:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," keyUpdates:%{NUMBER:mongoKeyUpdates:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," numYields: %{NUMBER:mongoNumYields:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," locks\(micros\) r:%{NUMBER:mongoReadLocks:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," locks\(micros\) w:%{NUMBER:mongoWriteLocks:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," nreturned:%{NUMBER:mongoNumberReturned:int}"]
       add_tag => "mongo_profiling_data"
     }
     grok {
       match => ["message"," reslen:%{NUMBER:mongoResultLength:int}"]
       add_tag => "mongo_profiling_data"
     }
     if "mongo_profiling_data" in [tags] {
        mutate {
           remove_tag => "_grokparsefailure"
        }
     }
     if  "_grokparsefailure" in [tags] {
         grep {

            match => ["message","(Failed|error|SOCKET)"]
            add_tag => ["zabbix-sender"]
            add_field => [
                "zabbix_host","%{host}",
                "zabbix_item","mongo.error"
#                "send_field","%{message}"
                         ]


              }
         mutate {
                remove_tag => "_grokparsefailure"
              }
     }
  }
}






output {


   stdout {
    codec => "rubydebug"
          }

   zabbix {
    tags => "zabbix-sender"
    host => "zabbixserver"
    port => "10051"
    zabbix_sender => "/usr/local/zabbix/bin/zabbix_sender"
         }

   redis {
     host => "10.4.29.162"
     data_type => "list"
     key => "logstash"
         }
       }


装备文件分为几步:

运用logstash的file插件从/data/app_data/mongodb/log/目录中读取mongodb的日志文件然后对日志内容进行解析

假如日志文件中有相似cursorid,nreturned等关键字的就截取增加标签mongo_profiling_data用于今后进行数据计算

关于其他日志就过滤关键字看是否含有过错信息,假如有就经过zabbix发送报警。

留意运用zabbix插件发送报警的时分需求先进行过滤关键字,然后要有zabbix_host,zabbix_item,zabbix_field三个字段,zabbix_item的值需求和zabbix监控页面装备的item相对应。zabbix_field假如没有指定,默许就是发送这个message字段


增加zabbix的模板




同理能够经过zabbix对PHP-FPM,Nginx,Redis,MySQL等发送报警




然后要做的就是依据不同的字段界说不同的图表










参阅文档:

http://techblog.holidaycheck.com/profiling-mongodb-with-logstash-and-kibana/

http://tech.rhealitycheck.com/visualizing-mongodb-profiling-data-using-logstash-and-kibana/

http://www.logstash.net/docs/1.4.2/outputs/zabbix


版权声明
本文来源于网络,版权归原作者所有,其内容与观点不代表亚美娱乐立场。转载文章仅为传播更有价值的信息,如采编人员采编有误或者版权原因,请与我们联系,我们核实后立即修改或删除。

猜您喜欢的文章