Заметки на память

Инструменты пользователя

Инструменты сайта

Вы посетили:
zabbix_iostat

Различия

Показаны различия между двумя версиями страницы.


—zabbix_iostat [2022/03/25 14:00] (текущий) – создано - внешнее изменение 127.0.0.1
Строка 1: Строка 1:
 +====== Мониторинг дисковой активности с помощью zabbix ======
 +===== Введение =====
 +
 +Как мониторить дисковую активность с помощью zabbix писалось уже не раз, но ни один из вариантов меня полностью не устроил и я взял что-то из одного рецепта, что-то из другого, а что-то реализовал сам. В итоге получилось решение, которое устраивает меня и чтобы не забыть как я это сделал было решено задокументировать :) На все сторонние скрипты и идеи в конце статьи указаны ссылки.
 +
 +Для мониторинга используется утилита iostat из пакета sysstat. Она в течерии минуты записывает показания в файл(с интервалом в одну секунду), а затем zabix-агент считывает среднеарифмитическое. Для автоподключения дисков к мониторингу был написан свой скрипт, который выполняет поиск блочных устройств, но не просто всех имеющихся, а по определенным, нужным мне критериям, т.е. поиск начинается с просмотра всех примонтированных файловых систем и определения их блочных устройств, далее если это логические устройства, они отсекаются, например вместо sda1 и sda2 будет мониториться только sda и т.д.
 +
 +
 +===== Подготовка хоста =====
 +
 +Устанавливаем пакет sysstat. С помощью утилиты iostat из этого пакета будем собирать статистику загруженности дисков и сохранять в файл.
 +
 +  # apt-get install sysstat
 +  
 +Далее создаем скрипт, который будет собирать данные в течении 55с и сохранять их в файл /opt/zabbix/iostat_collect.sh:
 +
 +  #!/bin/bash
 +  
 +  # Script for iostat monitoring
 +  # Author Epikhin Mikhail
 +  # michael at nomanlab.org
 +  
 +  SECONDS=55
 +  TOFILE=/tmp/iostat.log
 +  IOSTAT=/usr/bin/iostat
 +  
 +  DISK=$($IOSTAT -x 1 $SECONDS | awk 'BEGIN {check=0;} {if(check==1 && $1=="avg-cpu:"){check=0}if(check==1 && $1!=""){print $0}if($1=="Device:"){check=1}}' | tr '\n' '|')
 +  echo $DISK | sed 's/|/\n/g' > $TOFILE
 +  echo 0
 +  
 +Добавляем этот скрипт в крон, чтобы он выполнялся каждую минуту /etc/crontab:
 +
 +  * * * * * root /opt/zabbix/iostat_collect.sh
 +
 +И перезапускаем крон:
 +
 +  # /etc/init.d/crond restart
 +  
 +Теперь каждую минуту в файле /tmp/iostat.log будет появляться ежесекундная статистика по загрузке дисков.
 +
 +Далее создаем скрипт, который будет парсить этот лог и считать среднеарифмитическое для заданного диска и заданного параметра /opt/zabbix/iostat_parse.sh:
 +
 +  #!/bin/bash
 +   
 +  # Script for disk monitoring
 +  # Author Epikhin Mikhail
 +  # michael.nomanlab.org
 +  # version 1.1
 +  
 +  NUBMER=100500
 +  FROMFILE=/tmp/iostat.log
 +  DISK=$1
 +  METRIC=$2
 +  
 +  case "$2" in
 +  "rrqm/s")
 +          NUMBER=2
 +  ;;
 +  "wrqm/s")
 +          NUMBER=3
 +  ;;
 +  "r/s")
 +          NUMBER=4
 +  ;;
 +  "w/s")
 +          NUMBER=5
 +  ;;
 +  "rsec/s")
 +          NUMBER=6
 +  ;;
 +  "wsec/s")
 +          NUMBER=7
 +  ;;
 +  "avgrq-sz")
 +          NUMBER=8
 +  ;;
 +  "avgqu-sz")
 +          NUMBER=9
 +  ;;
 +  "await")
 +          NUMBER=10
 +  ;;
 +  "svctm")
 +          NUMBER=11
 +  ;;
 +  "util")
 +          NUMBER=12
 +  ;;
 +  esac
 +    
 +  cat $FROMFILE | grep $DISK | tail -n +2 | tr -s ' ' | cut -f$NUMBER -d' ' | awk 'BEGIN {sum=0.0;count=0;} {sum=sum+$1;count=count+1;} END {printf("%.2f\n", sum/count);}'
 +  
 +  #iostat -x | grep $1 | tr -s ' ' | cut -f$NUMBER -d' '
 +
 +И еще один скрипт, которые будет выполнять поиск использующихся устройств /opt/zabbix/devs_discovery.py:
 +
 +  #!/usr/bin/env python
 +  
 +  import os
 +  import re
 +  
 +  devs = []
 +  mountsFD = open("/proc/mounts", "ro")
 +  mounts = mountsFD.readlines()
 +  jsonData = '{\n"data":[\n\n'
 +  mountPoint = ''
 +  md = re.compile('^md[0-9]+$')
 +  
 +  for line in mounts:
 +      if line.startswith("/dev"):
 +          lineParts = line.split(" ")
 +          mountPoint = lineParts[1]
 +  
 +          if "/dev/mapper/" in lineParts[0]:
 +              dev = os.readlink(lineParts[0]).split("../")[1]
 +  
 +          else:
 +              dev = lineParts[0].split("/dev/")[1]
 +  
 +              # if not MD-drive
 +              if not md.match(dev):
 +                  # removing numbers from string
 +                  dev = ''.join([i for i in dev if not i.isdigit()])
 +                  mountPoint = ""
 +  
 +          if dev not in devs:
 +              if jsonData != '{\n"data":[\n\n':
 +                  jsonData += ',\n'
 +              jsonData += """{"{#DEV}": "%s", "{#MOUNTPOINT}": "%s"}""" % (dev, mountPoint)
 +          mountPoint = ""
 +  
 +          devs.append(dev)
 +  
 +  mountsFD.close()
 +  
 +  jsonData += "\n\n]\n}"
 +  
 +  print(jsonData)
 +
 +Подготовка системы закончена.
 +===== Настройка zabbix-агента =====
 +
 +В конфиге агента ничего не обычного, главное прописать свои параметры, один для поиска устройств(с помощью скрипта devs_discovery.py), второй для получения показаний по нужной метрике(с помощью скрипта iostat_parse.sh):
 +
 +  UserParameter=custom.disks.discovery_python,/opt/zabbix/devs_discovery.py
 +  UserParameter=custom.disks.iostat[*],/opt/zabbix/iostat_parse.sh $1 $2
 +  
 +Первый параметр без аргументов, второй принимает два аргумента - блочное устройство и имя интересующей нас метрики.
 +
 +Теперь перезапускаем агента и тестируем:
 +
 +  # zabbix_agentd -t custom.disks.discovery_python
 +  custom.disks.discovery_python[/opt/zabbix/devs_discovery.py] [t|{
 +  "data":[
 +  
 +  {"{#DEV}": "dm-0", "{#MOUNTPOINT}": "/"},
 +  {"{#DEV}": "sda", "{#MOUNTPOINT}": ""},
 +  {"{#DEV}": "dm-2", "{#MOUNTPOINT}": "/home"},
 +  {"{#DEV}": "sdb", "{#MOUNTPOINT}": ""}
 +  
 +  ]
 +  }]
 +  
 +  # zabbix_agentd -t custom.disks.iostat[sdb,util]
 +  custom.disks.iostat[/opt/zabbix/iostat_parse.sh sdb util] [t|0.00]
 +
 +Если все в порядке, настройка на этом завершена.
 +===== Настройка zabbix-сервера =====
 +
 +Все настройки на стороне сервера проводятся через веб-интерфейс. Вначале создаем шаблон(Configuration -> Templates -> Create template), при добавлении которого хосту, на этом хосте будет производиться мониторинг дисковой активности. Ниже представлен скриншот с параметрами, задаем имя шаблона и добавляем его в группу templates.
 +
 +{{ :zabbix:iostat:step1.png?direct&300 |}}
 +
 +Далее создаем приложение iostat (Configuration -> Templates -> Template IOstat Linux -> Applications):
 +
 +{{ :zabbix:iostat:step2.png?direct&300 |}}
 +
 +Теперь создадим регулярное выражение для фильтрации малоинтересных разделов, таких как /boot, /boot/efi и т.д. Назовем его Linux disk filter(Administration -> General -> Regulat expressions -> New regular expression):
 +
 +{{ :zabbix:iostat:step3.png?direct&300 |}}
 +
 +<note important>Zabbix поддерживает только posix регулярные выражения, при этом веб-интерфейс поддерживает как posix, так и perl регулярные выражения, что может привести к путанице. Например при составлении рег. выражения оно проходит тестирование в веб-интерфейсе, но по факту не работает, в этом случае надо проверить, соответствует ли оно стандарту posix.</note>
 +
 +Следующий шаг - создание discovery rule, т.е. правила, которое будет автоматически определять устройства и создавать для них указанные элементы(Configuration -> Templates -> Template IOstat Linux -> Discovery):
 +
 +{{ :zabbix:iostat:step3_2.png?direct&300 |}}
 +
 +Здесь важными параметры:
 +
 +  * Key - наш собственный ключ, который указали в конфиге агента
 +  * Filter - параметры фильтрации объектов, в данном случае в качестве параметра по которому фильтруем - точка монтирования, если она известена, то она отдается агентом с именем параметра MOUNTPOINT, ну и соответственно указывается ранее созданное рег. выражение, которым фильтровать этот параметр.
 +
 +Теперь создаем прототипы источников данных, т.е. на каждое устройство будет создан такой прототип и будет выполнятся коллекционирование данных, ниже приведен пример для метрики await(Configuration -> Templates -> Template IOstat Linux -> Item prototypes -> Create item prototype):
 +
 +{{ :zabbix:iostat:step4.png?direct&300 |}}
 +
 +  * Key - тут опять же указывается ранее созданный пользовательский параметр и ему передаются два аргумента: имя блочного устройства(DEV)и имя интересующей нас метрики(await)
 +
 +<note important>Параметры rsec/s и wsec/s возвращаются в кбайт, поэтому в прототипе для них нужно задать custom multiplier равный 1024</note>
 +
 +Таким образом создается нужное кол-во прототипов данных для интересующих метрик. Поддерживаются следующие метрики: rrqm/s, wrqm/s, r/s, w/s, rsec/s, wsec/s, avgrq-sz, avgqu-sz, await, svctm, util. Что они означают можно поглядеть в мануале по iostat. У меня получились следующие прототипы данных:
 +
 +{{ :zabbix:iostat:step5.png?direct&300 |}}
 +
 +И в заключении создаются прототипы графиков. В примере ниже создается график, который отображается скорочть чтения/записи устройства(Configuration -> Templates -> Template IOstat Linux -> Graph prototypes -> Create graph prototype):
 +
 +{{ :zabbix:iostat:step6.png?direct&300 |}}
 +
 +В итоге у меня получилось четыре прототипа графиков:
 +
 +{{ :zabbix:iostat:step7.png?direct&300 |}}
 +
 +===== Заключение =====
 +
 +Полученный результат можно увидеть на скриншотах ниже.
 +
 +{{:zabbix:iostat:result1.png?direct&300|}} {{:zabbix:iostat:result2.png?direct&300|}} {{:zabbix:iostat:result3.png?direct&300|}} {{:zabbix:iostat:result4.png?direct&300|}}
 +
 +===== Использованная литература =====
 +
 +  - [[http://michael.nomanlab.org/2012/09/zabbix-iostat.html|ZABBIX & IOSTAT. Мониторим диски]]
 +  - [[http://virtuallyhyper.com/2013/06/monitor-disk-io-stats-with-zabbix/|Monitor Disk IO Stats with Zabbix]]
 +  - [[https://www.zabbix.com/documentation/2.2/manual/discovery/low_level_discovery|Low-level discovery]]
 +