Nagios

Nagios er et system for å overvåke tjenester og maskiner, i den forstand at den sier ifra om at noe er nede (slik at man finner ut av det så tidlig som mulig og kan igangsette feilretting). Siden man ofte ønsker å verifisere at ting er oppe sett utenfra, kjører også nagios.samfundet.no utenfor Samfundets nett, på en VM hostet av Tollef. Merk at vi bruker Icinga, som er en fork av Nagios.

Det finnes ymse sjekker; de enkleste sjekker rett og slett at en boks pinger. Andre kan sjekke at TLS-sertifikater fungerer og er oppdatert, eller f.eks. at det ikke er for varmt i Anette (ved å spørre den ene strømskinnen over SNMP). De fleste kjøres et par ganger før det varsles, for å unngå ekstra støy. I tillegg kan tjenester ha hverandre som «foreldre», der det ikke varsles for barn når foreldre er nede, slik at man f.eks. ikke får varsel om hundre bokser når merete går ned (kun at merete selv går ned).

Alle alerts kommer på #itk via IRC-boten itk_nagios. I tillegg sendes det epost til en liste som Fredrik vedlikeholder (den kjører ikke på Samfundet-utstyr, slik at alert-levering ikke skal være avhengig av at cassarossa virker). De aller viktigste meldingene sendes i tillegg til Pushover (se under).

Editering

ssh root@nagios, vanlig passord for å komme til rett boks.

Config ligger i /etc/icinga/. Editer basert på eksisterende config, gjerne veldig oversiktelig. systemctl reload icinga for å la icinga lese ny config.

Disse filene ligger i git så husk å committe med en forklaring på hva/hvorfor du endret.

Pushover

Noen ytterst få tjenester er satt opp som så kritiske at de varsles rett til folks mobiltelefoner via et eksternt system som heter Pushover. Hvem som helst kan melde seg inn i Pushover-gruppen; appen koster $5 i engangsavgift per enhet. Dette er da typisk ting som er regnet som så viktige at de er verdt å vekke opp serveransvarlig selv midt på natten, så settet er ytterst lite (typisk merete, cassarossa, cirkus og at AC-en i Anette har røket). For å sette opp Pushover:

Først, les Krisehåndtering så du vet hva du skal gjøre når ting går ned.
Installér Pushover-appen på telefonen din (den støtter Android og iOS).
Lag en personlig konto på https://pushover.net/ (kan også gjøres fra appen).
Kopiér brukernøkkelen din fra webgrensesnittet eller telefonen. Logg ut av webgrensesnittet, og logg inn på ITKs Pushover-konto (i webgrensesnittet).
Legg til brukeren din i gruppen «ITK-driftsvarsler».

Det kan også være nyttig å sette opp Pushover så den overstyrer «ikke forstyrr»-innstillingene i Android. Her har du to muligheter:

I Pushover-appen, velg «Play high-priority as alarm».
I Android, velg Innstillinger → Varsler → Pushover → Overstyr «Ikke forstyrr». Merk at default for f.eks. nattinnstillinger er «kun alarmer»; du kan endre det til «kun prioriterte» i Innstillinger → Lyd → Ikke forstyrr → Automatiske regler → Ikke forstyrr → Bare prioritet.

Lenker: Start, billig loadtest, serverrutiner, til nye itkere, weechat relay