Visualiseerige Apache logisid ELK-i virnaga

Erinevate infrastruktuuride logide jälgimine ja analüüsimine reaalajas võib olla väga tüütu töö. Kui tegeleda selliste teenustega nagu veebiserverid, mis pidevalt andmeid logivad, võib see protsess olla väga keeruline ja peaaegu võimatu.

Sellisena võib teadmine, kuidas tööriistu kasutada logide jälgimiseks, visualiseerimiseks ja analüüsimiseks reaalajas, mis aitab teil probleeme tuvastada ja tõrkeotsingut teha ning süsteemi kahtlast tegevust jälgida.

Selles õpetuses arutatakse, kuidas saaksite kasutada ühte parimat reaalajas logikogumikku ja analüüsivahendeid - ELK. Kasutades ELK-d, üldtuntud kui Elasticsearch, Logstash ja Kibana, saate reaalajas koguda, logida ja analüüsida andmeid Apache veebiserverist.

Mis on ELK Stack?

ELK on akronüüm, mida kasutatakse kolme peamise avatud lähtekoodiga tööriista viitamiseks: Elasticsearch, Logstash ja Kibana.

Elasticsearch on avatud lähtekoodiga tööriist, mis on välja töötatud vastete leidmiseks suures andmekogude kollektsioonis, kasutades valikut päringukeeli ja -tüüpe. See on kerge ja kiire tööriist, mis on võimeline hõlpsalt käsitsema terabaiti.

Logstash mootor on link serveripoole ja Elasticsearchi vahel, mis võimaldab teil koguda andmeid erinevatest allikatest Elasticsearchi. See pakub võimsaid API-sid, mis on hõlpsasti integreeritavad rakendustega, mis on välja töötatud erinevates programmeerimiskeeltes.

Kibana on ELK-i virna viimane tükk. See on andmete visualiseerimise tööriist, mis võimaldab teil andmeid visuaalselt analüüsida ja luua ülevaatlikke aruandeid. Samuti pakub see graafikuid ja animatsioone, mis aitavad teil oma andmetega suhelda.

ELK-i pinu on väga võimas ja suudab teha uskumatuid andmete analüüsi asju.

Kuigi selles õpetuses käsitletavad erinevad mõisted annavad teile ELK virnast hea ülevaate, lugege lisateavet dokumentatsioonist.

Elasticsearch: https: // linkfy.to / Elasticsearch-Reference

Logstash: https: // linkfy.to / LogstashReference

Kibana: https: // linkfy.to / KibanaGuide

Apache'i installimine?

Enne kui hakkame Apache'i ja kõiki sõltuvusi installima, on hea märkida mõned asjad.

Testisime seda õpetust Debian 10-s.6, kuid see töötab ka teiste Linuxi distributsioonidega.

Sõltuvalt teie süsteemi konfiguratsioonist vajate sudo või juurõigusi.

ELK-i virnade ühilduvus ja kasutatavus võivad versioonidest olenevalt erineda.

Esimene samm on tagada, et teie süsteem oleks täielikult värskendatud:

sudo apt-get värskendus
sudo apt-get uuendus

Järgmine käsk on installida apache2 veebiserver. Kui soovite, et apache oleks installitud minimaalselt, eemaldage dokumentatsioon ja utiliidid allolevast käsust.

sudo apt-get install apache2 apache2-utils apache2-doc -y
sudo teenuse apache2 start

Nüüdseks peaks teie süsteemis töötama Apache server.

Elasticsearchi, Logstashi ja Kibana installimine?

Nüüd peame installima ELK-i virna. Paigaldame iga tööriista eraldi.

Elasticsearch

Alustame Elasticsearchi installimisega. Kasutame selle installimiseks apt-i, kuid stabiilse versiooni saate ametlikult allalaadimislehelt siit:

https: // www.elastne.co / downloads / elasticsearch

Elasticsearchi käivitamiseks on vaja Java-d. Õnneks on uusim versioon komplekteeritud OpenJDK paketiga, eemaldades vaeva selle käsitsi installimisega. Kui peate installima käsitsi, vaadake järgmist ressurssi:

https: // www.elastne.co / guide / et / elasticsearch / reference / current / setup.html # jvm-version

Järgmises etapis peame käsuga alla laadima ja installima ametliku Elastic APT-i allkirjastamisvõtme:

wget -qO - https: // artefaktid.elastne.co / GPG-KEY-elasticsearch | sudo apt-võti lisada -

Enne jätkamist võite enne installimise jätkamist nõuda paketti apt-transport-https (vajalik pakettide pakutavate pakettide jaoks).

sudo apt-get install apt-transport-https

Nüüd lisage allikatele sobiv repoteave.nimekirja.d fail.

kaja “deb https: // artefaktid.elastne.kaas / pakendid / 7.x / apt stabiilne põhiline ”| sudo tee / etc / apt / sources.nimekirja.d / elastne-7.x.nimekirja

Seejärel värskendage oma süsteemis pakettide loendit.

sudo apt-get värskendus

Installige Elasticsearch alloleva käsu abil:

sudo apt-get install elasticsearch

Pärast Elasticsearchi installimist käivitage ja lubage käivitamisel käivitamine käskudega systemctl:

sudo systemctl deemon-reload
sudo systemctl lubab elasticsearchi.teenus
sudo systemctl käivitage elasticsearch

Teenuse käivitamiseks võib kuluda mõni aeg. Oodake mõni minut ja veenduge, et teenus töötab ja töötab käsuga:

sudo systemctl olek elasticsearch.teenus

Kasutades cURL-i, kontrollige, kas Elasticsearch API on saadaval, nagu on näidatud allpool JSON-i väljundis:

lokk -X GET "kohalik host: 9200 /?ilus "

"nimi": "debian",
"cluster_name": "elasticsearch",
"cluster_uuid": "VZHcuTUqSsKO1ryHqMDWsg",
"versioon":
"number": "7.10.1 ",
"build_flavor": "vaikimisi",
"build_type": "deb",
"build_hash": "1c34507e66d7db1211f66f3513706fdf548736aa",
"build_date": "2020-12-05T01: 00: 33.671820Z ",
"build_snapshot": vale,
"lucene_version": "8.7.0 ",
"minimaalne_traadi_ühilduvuse versioon": "6.8.0 ",
"minimum_index_compatibility_version": "6.0.0-beeta1 "
,
„Silt”: „Tead, otsimiseks”

Kuidas installida Logstashi?

Installige logstashi pakett käsuga:

sudo apt-get install logstash

Kibana installimine?

Kibana installimiseks sisestage allolev käsk:

sudo apt-get install kibana

Elasticsearchi, Logstashi ja Kibana seadistamine?

ELK-i virna konfigureerimiseks toimige järgmiselt

Kuidas seadistada Elasticsearchi?

Elasticsearchis järjestatakse andmed indeksiteks. Igal nimetatud indeksil on üks või mitu killukest. Shard on iseseisev otsingumootor, mida kasutatakse Elasticsearchi klastri alamhulga indeksite ja päringute käsitlemiseks ja haldamiseks. Kill töötab Lucene indeksi eksemplarina.

Elasticsearchi vaikimisi installimine loob iga registri jaoks viis tükki ja ühe koopia. See on tootmises hea mehhanism. Selles õpetuses töötame aga ühe kildu ja koopiateta.

Alustage JSON-vormingus indeksimalli loomisega. Failis määrame kildude arvuks ühe ja null koopiat indeksinimede sobitamiseks (arendamise eesmärgil).

Elasticsearchis viitab indeksimall sellele, kuidas juhendate Elasticsearchi indeksi loomisel loomisprotsessi ajal.

Jsoni mallifaili sees (index_template.json), sisestage järgmised juhised:

"mall": "*",
"seaded":
"register":
"killude arv": 1,
"replikade arv": 0

Rakendage cURL-i abil mallile jsoni konfiguratsioon, mida rakendatakse kõigile loodud indeksitele.

curl -X PUT http: // localhost: 9200 / _template / defaults -H 'Content-type: application / json' -d @index_template.json
"tunnustatud": tõsi

Kui rakendus on rakendatud, vastab Elasticsearch tunnustatud: õige väitega.

Logstashi seadistamine?

Selleks, et Logstash saaks Apache'ist logisid koguda, peame selle konfigureerima logides toimuvaid muudatusi jälgima, kogudes, töödeldes ja salvestades logid Elasticsearchi. Selleks peate logstashis seadistama logi kogumise tee.

Alustage Logstashi konfiguratsiooni loomisega failis / etc / logstash / conf.d / apache.konf

sisend
fail
tee => '/ var / www / * / logs / juurdepääs.logi '
tüüp => "apache"


filter
grok
match => "message" => "% COMBINEDAPACHELOG"


väljund
elasticsearch

Nüüd veenduge logstashi teenuse lubamises ja käivitamises.

sudo systemctl lubab logstashi.teenus
sudo systemctl käivitage logstash.teenus

Kibana lubamine ja konfigureerimine?

Kibana lubamiseks muutke peamist .yml konfiguratsioonifail asub / etc / kibana / kibana.yml. Leidke järgmised kirjed ja tühistage nende kommenteerimine. Kui see on tehtud, kasutage Kibana teenuse käivitamiseks systemctl.

server.sadam: 5601
server.host: "localhost"
sudo systemctl lubab kibana.service && sudo systemctl käivitage kibana.teenus

Kibana loob töödeldud andmete põhjal indeksmustrid. Seega peate logidashi abil logisid koguma ja need salvestama Elasticsearchi, mida Kibana saab kasutada. Kasutage lokit, et luua Apache'ist logisid.

Kui teil on Apache'ist logisid, käivitage oma brauseris Kibana, kasutades aadressi http: // localhost: 5601, mis käivitab Kibana registrilehe.

Põhimõtteliselt peate konfigureerima Kibana kasutatava registrimustri logide otsimiseks ja aruannete loomiseks. Vaikimisi kasutab Kibana logstash * indeksimustrit, mis sobib kõigi Logstashi loodud vaikimisi indeksitega.

Kui teil pole seadistusi, klõpsake logide vaatamise alustamiseks nuppu Loo.

Kuidas vaadata Kibana logisid?

Kui jätkate Apache'i taotluste täitmist, kogub Logstash logid ja lisab need Elasticsearchi. Neid logisid saate Kibanas vaadata, klõpsates vasakpoolses menüüs valikut Avasta.

Vahekaart Avastamine võimaldab logisid vaadata siis, kui server neid genereerib. Logi üksikasjade kuvamiseks klõpsake lihtsalt rippmenüüd.

Lugege ja mõistke Apache'i logide andmeid.

Kuidas logisid otsida?

Kibana liidesest leiate otsinguriba, mis võimaldab teil andmeid päringu stringide abil otsida.

Näide: olek: aktiivne

Lisateavet ELK päringustringide kohta leiate siit:

https: // www.elastne.co / guide / et / elasticsearch / reference / 5.5 / query-dsl-query-string-päring.html # query-string-süntaks

Kuna tegemist on Apache'i logidega, on üks võimalik vaste olekukood. Seega otsige:

vastus: 200

See kood otsib logisid olekukoodiga 200 (OK) ja kuvab selle Kibanas.

Kuidas logisid visualiseerida?

Kibanas saate luua visuaalseid juhtpaneele, valides vahekaardi Visualiseerimine. Valige loodava juhtpaneeli tüüp ja valige oma otsingu register. Testi jaoks saate vaikeseadet kasutada.

Järeldus

Selles juhendis arutasime ülevaadet, kuidas ELK-i virna kasutada logide haldamiseks. Kuid nendes tehnoloogiates on veel midagi, mida see artikkel võib hõlmata. Soovitame seda ise uurida.