Valvo käyttäjälle näkyvää toimintoa, lisää riittävästi resurssi- ja sovellusnäyttöä sen diagnosoimiseksi ja hälytä vain olosuhteista, jotka vaativat oikea-aikaista ihmisen toimintaa. Yhdistä jokaiseen hälytykseen omistaja, ensimmäinen vaihe ja eskalaatio. Poikkeaman aikana koordinoi lieventäminen, suojaa todisteet ja vahvista palautuminen todellisen käyttäjäpolun kautta.
Aloita toiminnosta, jolla on merkitystä
Se, että palvelin vastaa pingiin, ei osoita, että sen sovellus toimii. Valitse edustava, vaaraton käyttäjäpolku, kuten julkisen sivun noutaminen tai hallitun testipäätepisteen käyttäminen. Määrittele, miltä onnistuminen näyttää, ja vältä synteettisiä tarkistuksia, jotka luovat todellisia tilauksia, julkaisevat sisältöä tai lähettävät asiakkaille ilmoituksia jokaisella suorituskerralla.
Valvo sopivasta ulkoisesta näkökulmasta sekä sovelluksen sisältä. Ulkoinen havainnointi voi paljastaa pääsy- tai reititysongelmia, joita palvelin ei näe. Sisäiset mittaukset voivat selittää, miksi polku epäonnistui. Pidä molemmat näkymät yhteydessä toimintoon sen sijaan, että keräisit suurta koontinäyttöä vain siksi, että jokainen mittari on saatavilla.
Valitse signaalit, joilla on diagnostista arvoa
Googlen SRE-ohjeistus korostaa latenssia, liikennettä, virheitä ja kyllästymistä hyödyllisinä signaaleina käyttäjille näkyvissä järjestelmissä. Käytä niitä kuvaamaan käyttäytymistä: vasteaika, pyyntöjen määrä, epäonnistuneet pyynnöt ja rajoitettujen resurssien kuormitus. Valitse sovellukselle sopivat mittaukset sen sijaan, että olettaisit yhden mittarimääritelmän sopivan verkkosivustolle, siirtopalvelulle ja taustatyöntekijälle.
Erota onnistuneet ja epäonnistuneet pyyntökäyttäytymiset silloin, kun sillä on merkitystä, ja tarkastele hitaita häntätuloksia pelkkien keskiarvojen sijaan. Lisää muistin paine, levytila, jonon syvyys tai sovelluskohtaiset rajat, kun ne selittävät palvelua. Korkea CPU-lukema voi olla normaali hyödyllisen erätyön aikana; käyttäjälle näkyvä vaikutus määrittää, tarvitaanko välittömiä toimia.
Anna jokaiselle hälytykselle toiminto ja omistaja
Hälytyksen tulee kertoa vaikutettu toiminto, havaittu olosuhde ja hyödyllinen ensimmäinen tarkistus. Määritä omistaja ja eskalaatiopolku ennen sen käyttöönottoa. Erota olosuhteet, jotka vaativat nopeaa keskeytystä, asioista, jotka sopivat ajoitettuun tarkasteluun. Toistuvat vähäarvoiset hälytykset opettavat operaattorit jättämään järjestelmän huomiotta ja tekevät tärkeiden signaalien tunnistamisesta vaikeampaa.
Käytä pientä hälytysten tarkastelua epäselvyyksien poistamiseen. Tämä havainnollistava taulukko kuvaa mahdollisia valvontapäätöksiä, ei SwissOctet-tukikattavuutta tai saatavuussitoumusta. Kynnysarvot on testattava todellisen sovelluksen perustasoa vasten. Sisällytä palautumisolosuhde, jotta operaattori tietää, milloin hälytys on poistunut ja mitä on vielä vahvistettava.
| Havaittu olosuhde | Hyödyllinen vaste | Sisällytettävä konteksti |
|---|---|---|
| Edustava käyttäjäpolku epäonnistuu | Arvioi vaikutus ja lievennä | Vaikutettu päätepiste, kesto ja viimeaikainen muutos |
| Levy lähestyy suunniteltua rajaa | Tarkastele kasvua ja säilytystä | Määrä, kasvunopeus ja turvallinen liikkumavara |
| Varmuuskopion vahvistus epäonnistuu | Suojaa palautumisreitti | Tehtävä, viimeisin käyttökelpoinen piste ja virhe |
| Latenssi kasvaa julkaisun aikana | Tarkista tai peruuta muutos | Perustaso, julkaisuajankohta ja vaikutetut pyynnöt |
Valmistele pieni poikkeamarakenne
Vasteprosessin on oltava ymmärrettävä paineen alla. Nimeä koordinaattori, teknistä työtä hoitava henkilö ja päivityksistä vastaava henkilö, kun poikkeama on riittävän suuri erillisten roolien tarpeeseen. Pieni projekti voi yhdistää rooleja, mutta hyötyy silti yhdestä selkeästä päätöspisteestä. Sovi viestintäkanavasta ennen kuin palvelu epäonnistuu.
Googlen poikkeamavastemateriaali korostaa koordinointia ja lieventämislähtöistä lähestymistapaa. Sovella sitä projektille sopivassa mittakaavassa: selvitä vaikutus, valitse turvalliset toimet ja vältä useiden operaattoreiden ristiriitaisia muutoksia. Kirjaa aikajana ja päätökset. Täydellisen selityksen etsiminen ei saa viivästyttää turvallista toimenpidettä, joka palauttaa vaikutetun toiminnon.
Käy läpi konkreettinen heikkeneminen
Kuvittele sivusto, joka hidastuu julkaisun jälkeen. Ulkoinen tarkistus näyttää pidentyneen suoritusajan, kun taas sisäiset mittaukset näyttävät sovellusvirheitä ja kasvavaa tietokantatyötä. Koordinaattori julistaa rajatun poikkeaman, suojaa todisteet ja määrää yhden henkilön vertaamaan julkaisua perustasoon. Toinen valmistelee testatun peruutuspolun sen sijaan, että tekisi aiheettomia infrastruktuurimuutoksia.
Jos peruutus on turvallinen sovelluksen tietotilalle, käytä sitä ja tarkkaile tulosta. Jos se ei ole turvallinen, valitse kapeampi lievennys, jota käyttösuunnitelma tukee. Dokumentoi, mikä muuttui ja milloin. Suurempi VPS tai portti voi olla arvioimisen arvoinen myöhemmin, mutta välittömän päätöksen tulee käsitellä todisteita sen sijaan, että oletettaisiin infrastruktuurin koon olevan syy.
Suojaa todisteet ja vahvista palautuminen
Toimintalokit ja poikkeamamerkinnät voivat sisältää osoitteita, tunnisteita ja asiakastietoja. Kerää se, mitä tutkinta tarvitsee, rajoita pääsyä ja pidä tunnistetiedot tai yksityiset tilausmerkit poissa jaetuista raporteista. Epäillyn tietoturvapoikkeaman kohdalla säilytä asianmukaiset todisteet ja noudata projektin vastekäytäntöä sen sijaan, että tuhoaisit tietoja kiireellisellä siivouksella.
NIST:n poikkeamavasteohjeistus sijoittaa vasteen laajempaan kyberturvallisuuden riskienhallintaan. Palautuminen sisältää aiotun toiminnon tarkistamisen ja poikkeaman mahdollistaneen olosuhteen ratkaisemisen. Testaa käyttäjäpolku, tarkastele resurssikäyttäytymistä ja tarkista taustatyö ennen vasteen päättämistä. Pelkkä hälytyksen poistuminen tai prosessin uudelleenkäynnistys ei välttämättä osoita täydellistä paluuta hyödylliseen palveluun.
Muunna poikkeama mitattavaksi parannukseksi
Kirjoita lyhyt katsaus vaikutuksesta, aikajanasta, myötävaikuttavista olosuhteista ja tehdyistä toimista. Keskity muutoksiin, jotka voidaan vahvistaa: paranna tarkistusta, korjaa käyttöoikeus, harjoittele peruutusta tai lisää puuttuva palautumisriippuvuus. Määritä omistajat ja valmistumiskriteerit. Vältä pitkää luetteloa epämääräisiä aikomuksia, joiden toteuttamista kukaan ei voi myöhemmin vahvistaa.
Kun otat käyttöön SwissOctet:lla, suunnittele valvonta ja vaste osana sovelluksen toimintaa erillään valitusta laitteistosta ja mahdollisesta vahvistetusta hallintajärjestelystä. Luettelo ei osoita miehitettyä poikkeamatiimiä tai jatkuvia tukiaikoja. Päätä, kuka vastaanottaa hälytykset, kuka voi toimia ja mitä todelliset palveluehdot kattavat ennen kuin luotat tuotantoympäristöön.
Käytännön tarkistuslistasi.
- Valvo vaaratonta edustavaa käyttäjäpolkua.
- Valitse signaalit, jotka selittävät sovelluksen käyttäytymistä.
- Anna hälytyksille toiminto, omistaja ja palautumisolosuhde.
- Sovi koordinoinnista ja eskalaatiosta ennen poikkeamaa.
- Suojaa todisteet ja vahvista täydellinen palautuminen.
- Määritä testattavat parannukset tarkastelun jälkeen.
Olennaiset yksityiskohdat.
Riittääkö palvelimen käytettävyyden valvonta?+
Ei. Tavoitettavissa oleva kone voi ylläpitää rikkoutunutta sovellusta. Valvo toimintoa, josta käyttäjät ovat riippuvaisia, ja lisää resurssinäyttöä vikojen diagnosoimiseksi.
Pitäisikö jokaisen mittarin kynnysarvon hälyttää jollekulle välittömästi?+
Ei. Säilytä kiireelliset keskeytykset toimintakelpoisille olosuhteille, jotka vaativat oikea-aikaista huomiota. Ohjaa matalamman prioriteetin työ tarkasteluprosessiin, jolla on selkeä omistaja.
Milloin poikkeama on päättynyt?+
Kun vaikutettu toiminto ja asiaankuuluva taustatyö on vahvistettu, välittömät riskit on käsitelty ja jatkotoimenpiteet on kirjattu. Pelkkä prosessin uudelleenkäynnistys ei riitä.
Mene lähteelle.
Nämä lähteet tukevat tämän oppaan teknisiä käsitteitä. Noudata ajantasaisia dokumentaatioita ennen tuotantojärjestelmän muuttamista.
- Google SRE: Hajautettujen järjestelmien valvonta sre.google
- Google SRE -työkirja: Poikkeamavaste sre.google
- NIST SP 800-61 Rev. 3: Poikkeamavaste csrc.nist.gov
Toimituksellinen ohjaus: SwissOctet. Esimerkit ovat havainnollistavia. Palvelumääritykset, saatavilla olevat vaihtoehdot ja sopimusehdot on tarkistettava erikseen.