Skip to content
Systém

Filtrujte několik vzorů pomocí grep v Linuxu

Avatar illustré de Julien Macé 8 min read
Poste d’administration Linux à côté d’une baie serveur
Un espace d’administration Linux pour analyser des journaux sans modifier leur contenu.

Žurnál může zahrnovat chyby připojení, překročené lhůty a kontroly zdraví. Abyste mohli rozpoznat několik symptomů, aniž byste zaměnili doslovný text a regulární výraz, začněte s grep -F a přidejte -e pro každý hledaný řetězec. Vzory budou spojeny logickým OR: řádek odpovídající jednomu z nich bude vybrán.

Linux administrativní stanice vedle serverové skříně
Prostor pro správu Linuxu pro analýzu protokolů bez změny jejich obsahu.

Pokud objevujete příkaz, nejprve se podívejte na základy příkazu grep pod Linuxem. Zde je cílem něco jiného: vytvořit znovupoužitelný filtr, oddělit zahrnutí od vyloučení a řídit to, co výsledek znamená.

Hledání několika řetězců s -F a -e

-F žádá GNU grep, aby zpracoval každý vzor jako pevný řetězec. -e zavádí vzor; samo o sobě nezruší interpretaci speciálních znaků. Přidejte tolik -e, kolik je potřeba:

# Vyberte řádky obsahující ERROR nebo WARN; -n zobrazí jejich číslo v souboru.
grep -nF -e 'ERROR' -e 'WARN' -- application.log

Očekávaným výsledkem je řádek za řádkem, i když obsahuje oba vzory. V syntetické ukázce uvedené níže tento příkaz vrací pět řádků. Řádek „ERROR WARN více závad“ není duplikován: grep vybírá řádky, nikoli výskyt pro vzor.

Oddělovač -- označuje konec možností a začátek cesty. Pro vzor, který začíná pomlčkou, použijte -e, aby nebyl považován za možnost:

# Obě vzory jsou doslovné, včetně počáteční pomlčky druhého.
grep -nF -e '192.0.2.10' -e '-ERROR' -- application.log

Uvozovky kolem vzorů jsou ASCII uvozovky, psané na klávesnici. Zabraňují shellu interpretovat jejich obsah. Nepoužívejte typografické uvozovky kopírované z textového editoru.

S -F jsou tečky v 192.0.2.10 doslovné. Přidejte -i pouze pokud se velikost písmen skutečně liší v datech: to činí hledání necitlivým na velká a malá písmena. Pevné řetězce jsou vhodné pro zprávy, adresy a přesné identifikátory.

Použijte -E, když jsou varianty regulárními výrazy

Vyberte -E, když potřebujete varianty vyjádřené regulárním výrazem. Znak | pak znamená „nebo“:

# Stejný záměr jako -F se dvěma jednoduchými slovy: ERROR nebo WARN.
grep -nE -e 'ERROR|WARN' -- application.log

# Přísnější varianta: úroveň na začátku řádku, následovaná mezerou nebo koncem.
grep -nE -e '^(ERROR|WARN)([[:space:]]|$)' -- application.log

První příkaz najde termíny, kde se objeví kdekoli v řádku. Druhá vyžaduje úroveň na začátku řádku. Nepoužívejte to, pokud skutečný formát to nezaručuje: časový žurnál může začínat datem, nikoli ERROR nebo WARN.

Režimy -F a -E jsou alternativní: nespojujte je. S -F ERROR|WARN je považováno za řetězec obsahující znak svislé čáry; není to alternativa. Podobně, v regulárním výrazu odpovídá tečka v 192.0.2.10 jakémukoli znaku. Pro hledání této adresy přesně zachovejte -F.

Nahrát seznam vzorů s -f

Když se symptomy často opakují, umístěte je do souboru pravidel: -f čte vzor po řádcích. Připravte soubory v novém soukromém adresáři, nikdy na místě žurnálu ani v /etc. TMPDIR musí označovat existující a důvěryhodný adresář; jinak se příkaz vrátí do vašeho domácího adresáře.

# Vytvořit novou dílnu a do ní se přesunout; zastavit v případě chyby.
dílna=$(mktemp -d "${TMPDIR:-$HOME}/grep-vzory.XXXXXX") || exit 1
cd -- "$dílna" || exit 1

# Jeden vzor za řádek v každém souboru.
printf '%sn' 'ERROR' 'WARN' > vzory.txt
printf '%sn' 'healthcheck' > vyloučení.txt

Poté vytvořte jasně syntetickou demonstrační ukázku. Slouží k ilustraci chování příkazů; není to export protokolu Nginx ani výsledek zásahu na skutečném serveru.

# Vytvořit malý místní testovací soubor v adresáři dílny.
printf '%sn' 
  'INFO spuštění' 
  'ERROR spojení odmítnuto 192.0.2.10' 
  'WARN překročený čas' 
  'ERROR healthcheck timeout' 
  'ERROR WARN více závad' 
  'INFO 192x0x2x10' 
  '-ERROR vzor s pomlčkou' > application.log

Aby bylo možné vyhledat pevné řetězce z vzory.txt:

# Každý řádek vzory.txt je unikátní pevný vzor.
grep -nF -f vzory.txt -- application.log

Pro seznam regulárních výrazů nahraďte -F za -E a napište každé pravidlo jako regulární výraz. Text jako # komentář není zvláštní komentář: grep ho bude hledat doslovně. Více možností -e, více souborů -f, nebo jejich kombinace, přidávají vzory do hledání. Nevytvářejí podmínku AND.

Zkontrolovat pravidla před spuštěním filtru

Úplně prázdný soubor vzorů neobsahuje žádná pravidla: žádný řádek není vybrán. Naproti tomu prázdný řádek v souboru je prázdný vzor, který může odpovídat všech řádkům. Zkontrolujte soubor, než se spolehnete na výsledek:

# Zkontrolovat, zda soubor obsahuje bajty.
test -s vzory.txt

# Oznámit případný prázdný řádek; také zkontrolovat stav grep.
if grep -n -e '^$' -- vzory.txt; then
  printf '%sn' 'Upozornění: prázdný vzor v pravidlovém souboru.'
fi

# Zobrazit znaky, včetně případných CRLF na koncích řádků.
od -c vzory.txt

test -s ověřuje, že soubor není prázdný, ale nezaručuje, že jeho pravidla jsou relevantní. Kontrola s grep odhalí prázdný řádek; chyba při čtení by měla být rovněž brána v úvahu. Pomocí od -c zkontrolujte, zda konce řádků obsahují návratový znak r, což je možné znamení souboru CRLF. Neprovádějte normalizaci souboru naslepo: nejprve identifikujte jeho formát a původ.

Kombinujte symptomy a poté odstraňte šum pomocí -v

Abychom si ponechali řádky obsahující ERROR nebo WARN, a poté odstranili ty, které obsahují healthcheck, aplikujte obě kroky postupně:

# Zahrnutí: ERROR nebo WARN. Vyloučení: poté odstraňte řádky healthcheck.
grep -F -f vzory.txt -- application.log | grep -vF -f vyloučení.txt

První seznam definuje vzory k zahrnutí; druhý, nezávislý, definuje šum k vyloučení. Nepřidávejte soubor vyloučení jako druhý -f do prvního grepu: přidali byste healthcheck k hledaným vzorům a tedy byste si tyto řádky uchovali. Zde v syntetické ukázce zůstanou čtyři řádky.

-v inverzuje celkový výběr. S více vylučovacími vzory A a B, grep -vF -e 'A' -e 'B' si ponechá řádky, které neobsahují ani A, ani B. Neznamená to „ne A nebo ne B“. Držte toto použití stručné: pokud je vaším cílem vytvořit kopii, aniž byste změnili originál, řiďte se raději metodou pro vyloučení řádků bez úpravy zdrojového souboru.

AND mezi dvěma řetězci na stejném řádku se získává pomocí dvou filtrů za sebou:

# Uchovat řádky obsahující ERROR, poté mezi nimi ty obsahující WARN.
grep -F -e 'ERROR' -- application.log | grep -F -e 'WARN'

Obě slova mohou být v jakémkoli pořadí. Řádek musí projít oběma kroky, aby zůstal. V ukázce zůstává pouze „ERROR WARN více závad“. Tento postup se vztahuje na řádky: neuplatňujte ho na bloky kontextů vytvořené pomocí -C v domnění, že jejich vztahy zůstanou zachovány. Po potrubí by číslo přidané posledním grep -n počítalo řádky z mezifáze, nikoli nutně jejich původní číslo v žurnálu.

Aplikujte filtr na skutečný žurnál správné služby

Před hledáním v souboru zkontrolujte jeho cestu a vaše práva na čtení. Níže uvedený příklad Nginx platí pouze, pokud tento soubor existuje na vašem stroji; fragmenty jsou ilustrativní a měly by být nahrazeny zprávami pozorovanými v příslušném žurnálu.

# Zkontrolovat čitelnost cesty před hledáním.
test -r /var/log/nginx/error.log

# Příklad doslovného hledání; přizpůsobit fragmenty skutečnému žurnálu.
grep -nF -e 'upstream timed out' -e 'connect() failed' -- /var/log/nginx/error.log

Pokud test -r selže, zkontrolujte cestu, službu a plánovaná práva přístupu pro váš účet. Neprovádějte globální rekurzivní hledání a neměňte oprávnění žurnálu, abyste problém obešli. Cesta pod /var/log není univerzální.

Na stroji používajícím systemd můžete nejprve omezit čtení na jednotku, na aktuální spuštění a na časové okno. Zkontrolujte, že jednotka existuje, a přizpůsobte období incidentu; pro zjištění, pokud se její možnosti liší, zkontrolujte journalctl --help.

# Zkontrolovat stav jednotky bez otevření pageru.
systemctl status nginx.service --no-pager

# Číst žurnál jednotky od současného spuštění, za posledních 30 minut.
journalctl -u nginx.service -b --since '30 minutes ago' --no-pager -o short-iso

# Filtrujte text vrácený journalctl; není to strukturovaný dotaz na jeho pole.
journalctl -u nginx.service -b --since '30 minutes ago' --no-pager -o short-iso |
  grep -iF -e 'timed out' -e 'failed'

Nepříznivý stav systemctl status může naznačovat, že jednotka není aktivní; samo o sobě to však nedokazuje, že příkaz je špatně utvořen. Prázdný nebo neúplný žurnál může také odrážet práva ke čtení. Pro návrat k původnímu řádku a jeho kontextu se podívejte na jak nalézt chybu v žurnálech s jejím kontextem.

Tento příkaz jsou příklady, které je třeba přizpůsobit: žádný skutečný server Nginx nebyl dotazován k tomuto článku. Před sdílením výřezu zkontrolujte čas a jednotku, anonymizujte adresy IP, jména uživatelů a tokeny a nezveřejňujte soukromý žurnál.

Zkontrolujte výsledek a diagnostikujte prázdný filtr

Na ukázce vyberou formy -F -e, -E pro tato jednoduchá slova a -F -f stejné pěti řádků. Můžete také spočítat vybrané řádky:

# Spočítat řádky obsahující alespoň jeden vzor, nikoli celkové výskyty.
grep -cF -e 'ERROR' -e 'WARN' -- application.log

Očekávaným výsledkem je 5: řádek, který obsahuje oba řetězce, se počítá pouze jednou. Po vyloučení healthcheck zůstanou čtyři řádky; s AND mezi ERROR a WARN zůstane jeden.

GNU grep běžně vrací kód 0, pokud byl vybrán alespoň jeden řádek, 1, pokud žádný nebyl, a 2 v případě chyby. Platné hledání bez shody tedy není totéž jako nefunkční příkaz. Zachyťte stav bez !, který by opačil jeho smysl:

# Explicitně uchovat kód grep, včetně absence shody.
rc=0
if grep -F -f vzory.txt -- application.log; then
  rc=0
else
  rc=$?
fi
printf 'Kód grep: %sn' "$rc"

V Bash pipeline je běžný stav příkazu stavem poslední vrstvy. Abyste zkontrolovali obě filtry, okamžitě zkopírujte PIPESTATUS: žádný příkaz by se neměl vložit mezi potrubí a toto zachycení.

# Provést zahrnutí a pak vyloučení a okamžitě zachytit obě stavy.
grep -F -f vzory.txt -- application.log | grep -vF -f vyloučení.txt
codes=("${PIPESTATUS[@]}")
printf 'Zahrnutí: %s; vyloučení: %sn' "${codes[0]}" "${codes[1]}"

Kód 1 na vrstvě může jednoduše znamenat, že žádný řádek neprošel tímto filtrem; kód 2 naznačuje chybu GNU grepu k prozkoumání. Jen konečný stav neprokazuje, že první vrstva správně přečetla svůj zdroj. Toto zachycení je určeno pro interaktivní Bash: pokud váš skript používá set -e, spravujte explicitně očekávané kódy před jejich přesunutím do kontroly.

Vyhněte se -q, abyste potvrdili, že celý vstup byl přečten: v tichém režimu grep může vrátit 0, jakmile najde shodu, i když se později objeví chyba. Abyste pochopili prázdný nebo příliš široký výsledek, zkontrolujte v tomto pořadí cestu a práva, velikost písmen, přítomnost ukotvení nekompatibilního s formátem, volbu mezi doslovným a regulárním výrazem, prázdné řádky a CRLF konce, a pak rozsah vyloučení. Víceřádkové události, komprimované archivy, strukturovaná JSON data a binární soubory vyžadují jinou metodu.

Zdroj a chování příkazů

Pravidla pro shodu a návratové kódy popsané zde se opírají o manuál grep(1) pro Debian bookworm. Možnosti čtení protokolu systemd jsou zdokumentovány v oficiální dokumentaci journalctl.

Výstupy oznámené v článku se týkají pouze syntetické ukázky popsané výše. Hlavní příkazy pro filtrování byly ověřeny na ní s GNU grep 3.11; příklady předletového Nginx a čtení pomocí journalctl nejsou uvedeny jako vykonané na serveru.

Share Facebook X WhatsApp LinkedIn Pinterest Reddit Email