Een export van logs bevat tekstbestanden, een dump en soms NUL-bits. Wanneer GNU grep “binaire bestanden komen overeen” weergeeft in plaats van de lijnen, is het niet noodzakelijkerwijs vastgelopen: het geeft aan dat er een overeenkomst bestaat, maar verbergt de uitvoerdetails. Om alleen in de tekstlogs te zoeken, kies -I. Om opzettelijk een bestand te onderzoeken dat niet-tekstuele bytes bevat, kies -a en inspecteer de uitvoer zonder deze onbewerkt naar de terminal te sturen. Beide opties hebben tegengestelde behoeften.
Begrijp het bericht “binaire bestanden komen overeen” voordat je de opdracht wijzigt
GNU grep kan een invoer als binaire bestanden behandelen wanneer het een NUL-byte of ongeldige uitvoer voor de locale vindt. In de standaard binaire modus kan het vervolgens de details van de overeenkomsten vervangen door het bericht “binaire bestanden komen overeen”. Dit bericht bewijst noch een vastloper, noch corruptie, noch de afwezigheid van een overeenkomst.
Begin met te controleren of de doelbestemming het verwachte bestand is, of het leesbaar is en of het een regulier bestand is. Vervang application.log door een pad dat je hebt bevestigd:
grep --version
locale
test -f application.log && test -r application.log
stat -c '%n : %s bytes, rechten %a' -- application.log
file -- application.log
od -An -tx1 -N 64 -- application.log
grep --version bevestigt dat je GNU grep gebruikt en geeft de versie aan. locale laat zien wat de actieve karakteromgeving is. file geeft een indicatie van het formaat, geen certificaat van de inhoud of dezelfde heuristische beslissing als grep. od toont de eerste bytes in hexadecimale vorm: 00 komt overeen met een NUL. De afwezigheid van 00 in deze 64 eerste bytes sluit niet uit dat er verderop een NUL aanwezig is. stat is hier de GNU-variant; file is mogelijk niet geïnstalleerd.
Als je het bestandstype moet identificeren voordat je de modus kiest, identificeer dan het formaat met file. Voor een FIFO of een open stream geleverd op standaardinvoer is de diagnose anders: -D skip beëindigt de wachttijd niet voor een stream die al op stdin is geleverd.
Negeer binaire gegevens met -I
Om een patroon alleen te zoeken in inhoud die GNU grep niet als binaire bestanden beschouwt, is -I de beperkte keuze. Deze optie komt overeen met --binary-files=without-match: een invoer die als binaire bestanden wordt herkend, wordt gezien als geen overeenkomsten bevattend.
rc=0
if grep -InF -e 'ERROR' -- application.log; then
rc=0
else
rc=$?
fi
printf 'Grep-code: %sn' "$rc"
-I is de grote I, niet -i, dat gaat over hoofdletters. Hier geeft -n de regelnummers weer en -F behandelt ERROR als platte tekst. De langere gelijkwaardige vorm is:
grep --binary-files=without-match -nF -e 'ERROR' -- application.log
De gebruikelijke codes van GNU grep zijn 0 als er een regel is geselecteerd, 1 als er geen regel is geselecteerd en 2 in geval van een fout. Een code 1 met -I bewijst dus niet dat het patroon afwezig is in de bytes van het bestand: grep kan een NUL hebben gevonden en de rest van de invoer genegeerd hebben. Afhankelijk van de buffer kunnen eerdere regels al zijn weergegeven. Maskeer de foutdiagnoses niet om het resultaat netter te maken.
Ik zou -I behouden om in tekstlogs te zoeken te midden van een gemengde map, wetende dat deze keuze een nuttige log kan uitsluiten. Detectie is een heuristiek van grep, beïnvloed door de opties en de locale, en is geen onfeilbare classificatie van formaten.
Forceer de zoekopdracht met -a zonder onbewerkte bytes weer te geven
-a komt overeen met --binary-files=text: grep dwingt de verwerking van de invoer als tekst af. Gebruik het alleen om opzettelijk een specifiek bestand te onderzoeken. Het verwijdert geen NUL, herstelt de inhoud niet en decodeert geen UTF-16-bestand. NUL-bits of controle-sequenties kunnen in de geselecteerde regels blijven.
Voer daarom niet grep -a alleen uit op een onbekende invoer terwijl je de onbewerkte output in een terminal laat verschijnen. Leid de uitvoer via od:
LC_ALL=C grep -anF -e 'ERROR' -- application.log | od -An -tx1 -v
codes=("${PIPESTATUS[@]}")
printf 'grep: %s; od: %sn' "${codes[0]}" "${codes[1]}"
In interactieve Bash herhaal je PIPESTATUS onmiddellijk na de pipeline, zonder een ander commando ertussen in te voegen. De array geeft apart de status van grep en die van od weer; de enige globale status van de pipeline is niet voldoende om de twee stappen te interpreteren. Hier geldt LC_ALL=C voor grep en het patroon is ASCII. De hexadecimale weergave voorkomt dat onbewerkte controle-bites naar de terminal worden verzonden, maar blijft moeilijk leesbaar voor grote inhoud.
-I en -a zijn incompatibel als keuze voor verwerking. Combineer ze niet om zowel binaire gegevens te negeren als in te sluiten. Kies ook --binary-files=without-match of --binary-files=text als je de modus liever expliciet maakt, zonder beide types samen toe te voegen.
Beperk de recursieve zoekopdracht en uitgesloten bestanden
Wanneer de doelbestemming een map is, gebruik -r met een specifiek pad. Vermijd -R als standaard: -r volgt geen symbolische links die in de boom worden aangetroffen, terwijl -R ze allemaal volgt en dus buiten de zichtbare doelbestemming kan lezen. -D skip vraagt aan grep om apparaten, FIFO’s en sockets die als leesbare bestanden worden aangetroffen te negeren.
grep -rInHF -D skip --exclude='*.dump' --exclude-dir='archive' -e 'ERROR' -- ./logs
-H dwingt de weergave van het pad af, -n geeft het regelnummmer en -F houdt het patroon letterlijk. Pas het pad en de uitsluitingen aan aan de boom die je hebt gecontroleerd. De aanhalingstekens beschermen de glob-patterns tegen ontwikkeling door Bash. --exclude richt zich op bestandsnamen en --exclude-dir op de namen van directories; dit zijn geen reguliere expressies die op de inhoud zijn toegepast. Ze vormen geen veiligheidsgrens, vooral niet als je -R kiest. Als er .gz archieven aanwezig zijn, sluit ze dan expliciet uit: deze opdracht pakt ze niet uit.
Om het aantal geselecteerde regels per bestand te plafonneren, kun je -m 20 toevoegen. Dit is noch een maximale wachttijd, noch een globale beperking van de gelezen gegevens; een zoekopdracht zonder overeenkomsten kan nog steeds veel inhoud doorbladeren. Presenteer deze variant niet als volledig.
Controleer de locale wanneer een tekstlog als binaire bestanden wordt behandeld
LC_CTYPE bepaalt de codering die wordt gebruikt om de karakters te interpreteren; LC_ALL, wanneer deze is ingesteld, heeft voorrang op de locale-categorieën. Een ongeldige reeks voor de locale kan leiden tot binaire verwerking, zelfs zonder NUL. In de locale C of POSIX is elke byte een geldig teken: de interpretatie kan dus veranderen.
Voor een specifiek ASCII-patroon kan een beperkte lokale test helpen om het gedrag te vergelijken:
LC_ALL=C grep -nF -e 'ERROR' -- application.log
LC_ALL=C converteert het bestand niet en corrigeert de codering niet. Hoofdletters, tekenklassen en Unicode-semantiek kunnen veranderen. De NUL-bit blijft relevant voor binaire verwerking, tenzij je -a of een andere geschikte modus kiest. Exporteer deze locale niet globaal als een universele correctie.
Controleer de uitvoer voordat je concludeert dat er geen fout is
In een nieuwe workshop kun je de zaak reproduceren met synthetische bestanden. De onderstaande creatie-opdrachten dienen alleen voor deze geïsoleerde workshop, nooit voor een bestaande logmap. Controleer eerst of TMPDIR naar een bestaande en betrouwbare locatie wijst, anders wordt de persoonlijke map gebruikt:
workshop=$(mktemp -d "${TMPDIR:-$HOME}/grep-binaries.XXXXXX") || exit 1
cd -- "$workshop" || exit 1
mkdir -- archive
printf 'INFO startnERROR leesbaarn' > tekst.log
printf 'INFO startnERROR voor 00vervolgnERROR nan' > nul.log
printf 'ERROR byte 377n' > ongeldig.log
printf 'ERROR oudn' > archive/oude.log
printf 'ERROR dumpn' > geheim.dump
ln -s -- archive/oude.log link.log
Deze omleidingen creëren de fixtures voor de workshop; ze mogen niet worden gekopieerd met een pad naar echte logs. printf en de escapes zijn bedoeld voor Bash. Op deze fixture is de verwachte vergelijking:
LC_ALL=C.UTF-8 grep -nF -e 'ERROR' -- nul.log
LC_ALL=C.UTF-8 grep -InF -e 'ERROR' -- nul.log
LC_ALL=C grep -anF -e 'ERROR' -- nul.log | od -An -tx1 -v
LC_ALL=C.UTF-8 grep -rInHF -D skip --exclude='*.dump' --exclude-dir='archive' -e 'ERROR' -- .
De eerste aanroep geeft een binaire overeenkomst aan op stderr, met de code 0. De tweede selecteert geen regel en retourneert 1. In de hexadecimale uitvoer van de derde blijft 00 zichtbaar: -a heeft niets opgeschoond. De recursieve doorloop toont ./tekst.log:2:ERROR leesbaar, niet de inhoud van archive/ of secret.dump, en retourneert 0. C.UTF-8 moet bestaan op het betreffende systeem; neem niet aan dat het overal beschikbaar is.
Voor ongeldig.log toont de vergelijking tussen C.UTF-8 en C aan dat de interpretatie afhankelijk is van de locale: in C.UTF-8 is de byte ff ongeldig en kan de invoer als binaire bestanden worden behandeld; in C wordt de regel geselecteerd met deze byte behouden. Elke uitvoer die mogelijk controle-bits bevat, moet via od worden geïnspecteerd en mag nooit onbewerkt worden weergegeven.
Wanneer een tekstlog eenmaal is geïdentificeerd, kun je een fout opnieuw doorlezen met de context; om door dit tekstbestand te navigeren, lees je de log opnieuw met less. Deze stappen veranderen niets aan de keuze die is gemaakt voor de binaire invoer.
Op je eigen bestanden, onthoud de code 0, 1 of 2, de standaarduitvoer en de stderr-diagnoses samen. Concludeer niet dat er geen fout is op basis van alleen de lege uitvoer van -I. Als een zoekopdracht op een te grote doelstelling start, onderbreek deze dan met Ctrl+C en verfijn het pad; verwijder niets en beëindig geen service. Deze controle is beperkt tot de bestanden en de daadwerkelijk doorzochte stappen: het certificeert geen gegevens die als binaire bestanden zijn genegeerd, noch uitgesloten archieven, noch de afwezigheid van een overeenkomst in een niet-doorzocht stream.
Technische bronnen: – GNU Grep manual 3.12, selectie van bestanden en directories – GNU Grep manual 3.12, karaktercodering – GNU Grep manual 3.12, exit-status – Manpagina GNU grep