Kui peate haldama tohutut andmemahtu, leiate end ühel päeval soovimast tööriista, mis lihtsalt juhiks tähelepanu andmete anomaaliatele või vastuoludele ja hoiataks teid reaalajas.
Mis on ElastAlert?
ElastAlert on loodud just selleks. See on lihtne raamistik, mis annab märku, kui tuvastab Elasticsearchi lisatud andmete põhjal anomaaliad, naelu või muud reeglite mustrid.
Näiteks võite seadistada „sageduse” märguande, mis teavitab teid, kui Y-aja jooksul on X sündmuste arv.
Või võite soovida teid viivitamatult hoiatada, kui on tegemist nn hüppelise sündmusega, see tähendab, kui sündmuse toimumise kiirus äkki suureneb või väheneb.
Muud kaasatud reeglitüübid on:
- 'flatline' - kui Y-aja jooksul on vähem kui X sündmust
- 'must nimekiri / lubatud nimekiri' - kui teatud väli vastab 'mustale nimekirjale' või 'lubatud nimekirjale'
- 'mis tahes' - kui juhtub antud filtriga vastav sündmus
- 'muutus' - kui väljal on määratud aja jooksul kaks erinevat väärtust
Toetatud hoiatustüübid
Praegu on ElastAlertil sisseehitatud tugi järgmistele häiretüüpidele.
- Käsk
- E-post
- JIRA
- OpsGenie
- SNS
- HipChat
- Lõtv
- Telegramm
- GoogleChat
- Silumine
- Stomp
- taru
Installige ElastAlert koos Elasticsearchiga Ubuntu
Selles artiklis näitame teile, kuidas installida ElastAlert ubuntu 18-le.04.
Nõuded
- Elasticsearch
- ISO8601 või Unixi ajatempliga andmed
- Python 2.7
- pip, vaata nõudeid.txt - (https: // github.com / Yelp / elastalert / blob / master / nõuded.txt)
- Ubuntu paketid - python-pip python-dev libffi-dev libssl-dev
Eelduste installimine
Installige Python 2.7:
sudo apt-get install python-minimaalne
Kontrollige Pythoni versiooni:
sudo python - versioon
Siis saate python 2 väljundi.7.
Installige vajalikud paketid:
sudo apt-get install python-pip python-dev libffi-dev libssl-dev
ElastAlerti installimiseks on vähe võimalusi ja siin teeme installi kloonides git-hoidla.
Nii et enne jätkamist peame installima "git". Tavaliselt Ubuntu 18.04 on git juba installitud.
Kontrollige giti installitud või saadaolevat versiooni:
sudo apt-vahemälu poliitika git
See annab üksikasjad installitud ja kandidaat-git-versioonide kohta.
Kui te ei näe installitud git-versiooni, käivitage järgmine käsk.
sudo apt-get install git
Kloonime ElastAlerti hoidla kausta “/ opt”, muutke seetõttu kataloogi.
sudo cd / opt
Kloonige nüüd git-hoidla.
sudo giti kloon https: // github.com / Yelp / elastalert.git
Nüüd installige moodulid.
sudo pip install "setuptools> = 11.3 "
sudo pythoni seadistamine.py installi
Võite saada sellise vea.
Seejärel käivitage käsu all PyOpenSSL installimiseks
sudo pip installib PyOpenSSL
Siin me integreerime elastse otsinguga 6.x. Nii et Elasticsearch 5.0+ installitakse siia.
sudo pip install "elasticsearch> = 5.0.0 "
Konfigureerige ElastAlert
Kloonisime ElastAlert repo kataloogi "/ opt", nii et muutke kataloogi enne jätkamist.
sudo cd / opt / elastalert /
Nüüd saame konfiguratsiooni koopia.yaml.näidisfail konfiguratsioonina.yaml
sudo cp seadistamine.yaml.konfiguratsiooni näide.yaml
Konfiguratsiooni muutmine.yaml-fail.
vim config.yaml
Järgmiste ridade kommenteerimine ja muutmine.
ElasticSearchi hostinimi või IP
es_host: põdraserver
ElasticServeri port
es_port: 9200
Kommenteerimata põhiautentimine:
es_kasutajanimi: es_parool:
Salvestage ja sulgege fail.
Loo indeks ElastAlert.
sudo elastalert-create-index
Reegli loomine
Nüüd muutke faili pealkirjaga “example_frequency.yaml "kausta" / opt / elastalert / example_rules / "sees
sudo vim example_rules / example_frequency.yaml
Kommenteerige ja muutke indeksit järgmiselt:
register: filebeat- *
Nüüd määrake märguande jaoks filter. Siin filtreerime märksõnad stringiga “erand”.
filter: - query_string: query: "sõnum: * erand *"
Alteri konfigureerimine Slackiga. Siin peate looma Slacki kanali ja sissetuleva veebikonksu. Seejärel lisage konfiguratsiooni üksikasjad järgmiselt.
hoiatus: - "lõtv" lõtv: lõtv_veebihook_url: "https: // konksud.lõtv.com / services / T3YSFN0GL / BFU1HPLKD / BPM2jOlIOzKxbEOHAepu6d26 "slack_username_override:" Fosslinux-Elastic-Bot "slack_channel_override:" #fosslinuxalert "slack_emoji_override: slider:" robot: "robot:" robot
Slacki kanali loomiseks võite järgida alltoodud samme.
ElastAlertile Slacki kanali konfigureerimine
Kui teil pole lõdvat kontot, saate selle lihtsalt registreerudes. Minge lehele „lõtv.com ”ja sisestage oma e-posti aadress ning klõpsake nuppu„ Alustage “.
Seejärel klõpsake nuppu "Loo uus tööruum" ja kinnitage oma e-posti aadress. Nüüd saate sisse logida ja armatuurlauda vaadata.
Avage Rakenduste sirvimine -> kohandatud integreerimised -> sissetulevad veebiraamatud -> uus konfiguratsioon
Seejärel klõpsake „Loo uus kanal”, et luua kanal teavituste saatmiseks.
Seejärel klõpsake nuppu „Loo kanal” ja teid suunatakse Webhooki integreerimislehele.
Klõpsake nuppu „Lisa sissetulevate WebHooksi integreerimine”. See loob integratsiooniseaded.
Testreegel
Muuda kataloog ElastAlertiks.
sudo cd / opt / elastalert /
Konfigureeritud reegli testimiseks käivitage käsk allpool.
sudo elastalert-test-reegel näide_reeglid / näide_sagedus.yaml
Käivitage ElastAlert
Käivitame ElastAlerti taustateenusena. See käsk tuleks käivitada kaustas “/ opt / elastalert /”.
sudo python -m elastalert.elastalert --verbose --reegli näide_sagedus.yaml &
Nüüd hakkab ElastAlert kontrollima Elasticsearchi päringuid (ELK serveris). Kui on mõni matš, laseb see Slacki hoiatada.
Alarm käivitati.
Hoiatus suunatakse Slack Channel'i.
See on kõik, me installisime ja konfigureerisime ElastAlerti elastse otsingu abil edukalt ning seadistasime ka hoiatused Slacki kohta. Loodame, et see ammendav õpetus aitab teil installida ElastAlerti ja seadistada mõned reeglid, et märguandeid hõlpsalt käivitada. Küsimused ja tagasiside on teretulnud kommentaaride jaotisse.