Odstranění řádků pomocí grep pod Linuxem bez zásahu do originálu
Připravujete seznam z textového exportu a chcete odstranit ladicí řádky, aniž byste změnili přijatý soubor? S pomocí grep volba -v obrací výběr: řádky, které se neshodují s vzorem, jsou odeslány na standardní výstup. Zdroj zůstává pouze pro čtení. Pro začátek, možnosti vyhledávání v grep jsou podrobně popsány v obecném průvodci; zde se zaměříme na řízené vyloučení a případné vytvoření nové kopie.
Procházka je úmyslně opatrná: zkontrolovat soubor, zobrazit, co zůstane, zapsat do dočasného souboru umístěného blízko cíle, prozkoumat diff a poté potvrdit vytvoření nového souboru. Nepoužívejte tento postup k čištění aktivního protokolu, systémového souboru nebo důkazních položek incidentu.
Grep vylučuje řádky z výstupu, ne ze zdrojového souboru
Připravit čitelný testovací soubor
Nejdříve otestujte v soukromém adresáři. Následující příkaz vytvoří dočasný adresář a umístí tam příklad. Nezapíše do souboru v aktuálním adresáři. Pokud už existuje dočasný soubor, mktemp -d vybere jiný.
atelier=$(mktemp -d) || exit 1
cd -- "$atelier" || exit 1
printf '%sn' 'INFO spuštění' 'DEBUG cache' 'IP 192.0.2.1' 'IP 192x0x2x1' '' ' ' "$(printf 't')" '# komentář' 'ERROR výpadek' 'DEBUG' 'DEBUG cache' 'Konec' > source.txt
Fixture obsahuje prázdný řádek, řádek se třemi mezerami a řádek s tabulátorem. Řádek DEBUG cache se objevuje dvakrát úmyslně: filtr působí na každý odpovídající řádek, ne pouze na první výskyt.
Zobrazit uchované řádky pomocí -v
Před vytvořením kopie se podívejte, co by bylo uchováno:
grep -Fv -e 'DEBUG' -- source.txt
-v vybírá řádky, které se neshodují. -F zpracovává DEBUG jako literální text, a -e uvádí vzor. Oddělovač -- označuje konec možností GNU; cesta, která následuje, je tedy zpracována jako název souboru. Výsledek neobsahuje ani DEBUG, ani DEBUG cache. Ostatní řádky si zachovávají svůj pořádek, včetně prázdného řádku a těch, které obsahují mezery. Nic nebylo odstraněno ze source.txt.
Standardní výstup je tok, do kterého grep zapisuje svůj výsledek, často zobrazený v terminálu. Filtrační příkaz nemění čtený soubor. Toto rozlišení zabraňuje závažné chybě: nikdy nepřesměrovávejte příkaz na jeho vlastní zdroj, například grep -Fv -e 'DEBUG' source.txt > source.txt. Shell vymazává cílový soubor předtím, než grep přečte jeho obsah. Cíl, který odkazuje na stejný soubor prostřednictvím odkazu, může představovat stejné riziko.
Vybrat mezi přesným textem a regulárním výrazem
Tečka v adrese: začněte s -F
Tečka je speciální znak v regulárních výrazech. Chcete-li vyloučit pouze přesnou adresu dokumentace z příkladu, použijte pevný řetězec:
grep -Fv -e '192.0.2.1' -- source.txt
Tento příkaz odstraní IP 192.0.2.1, ale zachová IP 192x0x2x1. Bez -F může tečka z 192.0.2.1 představovat libovolný znak:
grep -v -e '192.0.2.1' -- source.txt
Na fixture tato varianta vylučuje také řádek s písmeny x. Pro identifikátor, jméno nebo adresu, které mají být porovnány doslovně, bych zvolil -F: vzor si tak zachovává svůj viditelný smysl a nezávisí na pravidlech regulárních výrazů.
Vyloučit celý řádek pomocí -x
Aby se odstranil pouze řádek přesně shodující se s DEBUG, přidejte -x:
grep -Fxv -e 'DEBUG' -- source.txt
Řádek DEBUG zmizí, zatímco oba řádky DEBUG cache zůstanou. Mezery na začátku nebo na konci také změní porovnávaný obsah. -x znamená „celý řádek“, ne „slovo DEBUG kdekoli na řádku“.
Více vzorů nebo ukotvený regex
Se více pevnými vzory opakujte -e. Řádek obsahující jedno nebo druhé bude vyloučen:
grep -Fv -e 'DEBUG' -e 'ERROR' -- source.txt
Pokud potřeba spočívá v řádcích začínajících úrovní protokolu, může být vhodnější rozšířený regulární výraz:
grep -Ev -e '^(DEBUG|ERROR)([[:space:]]|$)' -- source.txt
Oba příkazy zde poskytují stejné řádky, ale jejich pravidla nejsou zaměnitelná ve všech souborech. První hledá obě řetězce kdekoli. Druhé vylučuje prefix DEBUG nebo ERROR, následovaný mezerou nebo koncem řádku. Pro vzor, který začíná pomlčkou, -e zabraňuje tomu, aby byl interpretován jako volba, například grep -Fv -e '-DEBUG' -- source.txt.
Odstranění prázdných řádků bez zmatení mezer
Prázdný řádek: ^$
Chcete-li vyloučit řádek, jehož obsah je striktně prázdný, použijte regulární výraz:
grep -v -e '^$' -- source.txt
Prázdný řádek zmizí. Řádky se třemi mezerami a s tabulátorem zůstanou, protože obsahují znaky. Nepřidávejte -F k tomuto příkazu: s touto možností by ^$ bylo hledáno jako řada obyčejných znaků, ne jako začátek a konec řádku.
Prázdný řádek: POSIX třídy a neviditelné znaky
Pro vyloučení prázdných řádků nebo řádků složených z mezer uznávaných locale, použijte POSIX třídu [[:space:]]:
grep -v -e '^[[:space:]]*$' -- source.txt
Na příkladu prázdný řádek, ten s třemi mezerami a ten s tabulátorem zaniknou. Řádek, který obsahuje mezery uprostřed užitečného textu, zůstane. Třída je přenosnější než prezentování s jako univerzální syntaxe. Pokud je výsledek překvapující, zkontrolujte znaky, aniž byste měnili zdroj:
od -c source.txt
Toto čtení umožňuje zejména identifikaci tabulátoru nebo návratu vozíku, které není vidět v normálním zobrazení.
Přečíst návratový kód před potvrzením výsledku
Návratový kód udává, zda grep vybral řádky. S -v se vztahuje na řádky uchované po inverzi. Pro GNU grep, kód 0 znamená, že byla vybrána alespoň jedna řádka, 1 že žádná nebyla vybrána a obvykle 2, že došlo k nějaké chybě. POSIX popisuje chyby pomocí kódu vyššího než 1.
grep -Fv -e 'ABSENT' -- source.txtvrací kód 0 a zachovává celou fixture: žádný řádek neobsahoval tento vzor.grep -v -e '' -- source.txtvrací kód 1 a nezapisuje žádný řádek: prázdný vzor odpovídá každému řádku.grep -v -e '[' -- source.txtprodukuje chybu regex s GNU grep a obvykle vrací kód 2.- Neexistující zdrojový soubor je chyba, nikoli platný prázdný výstup.
Ve skriptu zachyťte stav, aniž byste ztratili jeho hodnotu:
rc=0
if grep -Fv -e 'DEBUG' -- source.txt; then
rc=0
else
rc=$?
fi
printf 'Kód grep: %sn' "$rc"
Vyhněte se if ! grep ...; then rc=$?: v této větvi $? odpovídá logické inverzi, ne původnímu kódu grep. Nepoužívejte ani -q k validaci souboru, který zapisujete: při nalezení shody může GNU grep vrátit 0, i když došlo k chybě. Držte zprávy o chybách viditelné.
Vytvořit filtrový soubor až po kontrole
Připravit dočasný soubor, porovnat a poté potvrdit
Pokud chcete nový výstup, pracujte v osobním spolehlivém adresáři se stabilním zdrojem a různým cílem. Následující skript je příkladem Bash pro Linux s GNU grep a příslušnými nástroji GNU. Nejde o součást GNU grep. Odmítá prázdný vzor a již existující cíl, zapisuje do dočasného souboru v adresáři výstupu, kontroluje stav grep, ukazuje diff a poté žádá o explicitní potvrzení.
#!/usr/bin/env bash
set -u
source_file=${1:-./source.txt}
output_file=${2:-./resultat.txt}
pattern=${3-DEBUG}
if [ -z "$pattern" ]; then
printf '%sn' 'Prázdný vzor odmítnut.' >&2
exit 2
fi
if [ -e "$output_file" ] || [ -L "$output_file" ]; then
printf '%sn' 'Cíl již existuje: zvolte jiné jméno.' >&2
exit 2
fi
output_dir=$(dirname -- "$output_file")
tmp=$(mktemp "$output_dir/.grep-sortie.XXXXXX") || exit 2
trap 'rm -f -- "$tmp"' EXIT
trap 'exit 130' INT
trap 'exit 143' TERM
rc=0
if grep -Fv -e "$pattern" -- "$source_file" > "$tmp"; then
rc=0
else
rc=$?
fi
case "$rc" in
0) printf '%sn' 'Některé řádky byly uchovány.' ;;
1) printf '%sn' 'Žádný řádek uchován: výstup je prázdný, bez chyby grep.' ;;
*) printf 'Chyba grep (%s): výstup byl zrušen.n' "$rc" >&2; exit "$rc" ;;
esac
diff_rc=0
diff -u -- "$source_file" "$tmp" || diff_rc=$?
if [ "$diff_rc" -gt 1 ]; then
printf '%sn' 'Porovnání nemožné: výstup byl zrušen.' >&2
exit 2
fi
printf '%sn' 'Přečtěte si diff: rozdíl (kód 1) je normální.'
IFS= read -r -p 'Vytvořit kontrolovaný výstup, i když je prázdný? Napište ano: ' confirmation || exit 1
[ "$confirmation" = ano ] || exit 1
mv -T -i -- "$tmp" "$output_file" || exit 2
if [ -e "$tmp" ]; then
printf '%sn' 'Přesun odmítnut: žádné potvrzení výstupu.' >&2
exit 2
fi
printf 'Výstup vytvořen: %s; zdroj nebyl nahrazen.n' "$output_file"
Ve pracovním souboru pojmenovaném safe_filter.sh uložte skript a poté spusťte:
bash safe_filter.sh ./source.txt ./resultat.txt DEBUG
Zkontrolujte diff, než napíšete ano. Kód 1 z diff znamená, že se soubory liší, což je zde očekáváno; kód vyšší než 1 signalizuje problém s porovnáním a způsobuje zrušení procházky. Pokud není uchován žádný řádek, skript přesto zobrazuje diff a požaduje stejné potvrzení před vytvořením prázdného výstupu. Při chybě grep, předčasném ukončení nebo nemožnosti porovnání je dočasný soubor odstraněn a cíl není potvrzen.
Dočasný soubor se nachází v adresáři výstupu, aby konečný přesun zůstal ve stejném souborovém systému v aktuálních případech. mktemp mu dává nepředvídatelné jméno a běžná soukromá práva. Skript nekopíruje metadata, ACL nebo povolení zdroje: výsledek je nový soubor. Snižuje riziko běžného přepsání, ale nechrání absolutně proti závodům v rovném a zlovolném adresáři. Nepoužívejte tento skript, když jiný proces zapisuje do zdroje.
Zkontrolovat limity před použitím kopie
Tato metoda cílí na textové soubory, kde může být řádek zpracován nezávisle na ostatních. Binární data, strukturovaný JSON nebo CSV s návraty řádků v polích se bezpečně nefiltrují pouze odstraněním řádků. GNU grep může oznámit, že soubor obsahuje binární data místo toho, aby produkoval očekávanou kopii.
Se souborem CRLF může návrat vozíku způsobit, že se řádek, který se zdá být prázdný, neshoduje s ^$. Třída [[:space:]] může tento znak pokrýt; zkontrolujte nejprve pomocí od -c a normalizujte nesilentně. GNU grep také přidává koncový nový řádek k vstupu, který jej neměl. Zdroj zůstává nedotčen, ale nelze slibovat, že bajty každého uchovaného řádku jsou vždy reprodukovány totožně. Třídy a některá porovnání závisí na locale a mohou se lišit mezi GNU grep, BusyBox a BSD.
Pro vyšetřování incidentů uchovejte původní protokol: můžete místo toho nalézt chybu v protokolech s jejím kontextem. Pokud je vaším cílem nahradit část textu v každém řádku, to již není filtr řádků; podívejte se, jak nahradit text pomocí sed, přičemž uchovejte pracovní kopii a proveďte odpovídající kontrolu.
Pravidlo pro operaci zůstává jednoduché: předhlédněte si pomocí grep -Fv, zkontrolujte návratový kód, porovnejte výstup a potvrďte pouze nový soubor po potvrzení. Originál zůstává vaším výchozím bodem, dokud ho nenahradíte.