ジャーナルのエクスポートにはテキストファイル、ダンプ、場合によってはNULバイトが含まれます。GNU grepが行を表示する代わりに「バイナリファイルが一致」を表示する場合、それは必ずしもフリーズしたわけではありません:一致が存在することを示していますが、出力の詳細を隠します。テキストジャーナルのみを検索するには、-Iを選択します。非テキストバイトを含むファイルを意図的に検査するには、-aを選択し、システムに生の出力を送信せずにその出力を確認します。この2つのオプションは対称的なニーズに対応しています。
コマンドを変更する前に「バイナリファイルが一致する」メッセージを理解する
GNU grepは、NULバイトまたはロケールに対する無効な出力データが見つかると、入力をバイナリとして処理する場合があります。デフォルトのバイナリモードでは、一致の詳細を「バイナリファイルが一致します」というメッセージに置き換えることがあります。このメッセージは、フリーズ、破損、一致の欠如を証明するものではありません。
最初に、ターゲットが予期されたファイルであること、読み取れること、通常のファイルであることを確認してください。application.logを確認したパスに置き換えます:
grep --version
locale
test -f application.log && test -r application.log
stat -c '%n : %s バイト, 権利 %a' -- application.log
file -- application.log
od -An -tx1 -N 64 -- application.log
grep --versionはGNU grepを使用していることを確認し、そのバージョンを示します。localeは現在の文字環境を確認するために使用します。fileはフォーマットのヒントを提供しますが、内容を証明するものではなく、grepと同じヒューリスティックな判断を行うものではありません。odは最初のバイトを十六進数で表示します:00はNULに対応します。これらの最初の64バイトに00が存在しないからといって、それ以降にNULがあることを排除するわけではありません。statはここではGNUのバリアントです; fileはインストールされていない場合があります。
モードを選択する前にファイルタイプを識別する必要がある場合、識別するためにfileを使います。FIFOまたは標準入力から提供されたオープンストリームの場合、診断は異なります:-D skipはすでにstdinで提供されたストリームの待機を終了しません。
-Iでバイナリデータを無視する
GNU grepがバイナリとして扱わないコンテンツでパターンを検索する場合、-Iは限られた選択肢です。このオプションは--binary-files=without-matchと同等です:バイナリとして認識された入力は、一致がないと見なされます。
rc=0
if grep -InF -e 'ERROR' -- application.log; then
rc=0
else
rc=$?
fi
printf 'grepコード: %sn' "$rc"
-Iは大文字のIであり、-iはケースに関係しています。ここでは、-nが行番号を表示し、-FがERRORをリテラルテキストとして扱います。同等の長い形式は:
grep --binary-files=without-match -nF -e 'ERROR' -- application.log
GNU grepの一般的なコードは、行が選択された場合は0、行が選択されなかった場合は1、エラーの場合は2です。-Iでの1コードは、したがって、パターンがファイルのバイトに存在しないことを証明するものではありません:grepはNULを見つけ、その後の入力を無視した可能性があります。バッファによっては、以前の行がすでに表示されている可能性があります。結果をもっときれいにするためにエラー診断を隠さないでください。
私は、混合フォルダーの中でテキストジャーナルを検索するために-Iを保持しますが、この選択が有用なジャーナルを除外する可能性があることを知っています。検出はgrepのヒューリスティックであり、オプションやロケールによって影響を受けるものであり、形式の無謬な分類ではありません。
-aで生のバイトを表示せずに検索を強制する
-aは--binary-files=textに相当します:grepは入力をテキストとして強制的に処理します。特定のファイルを意図的に調査するためにのみ使用してください。NULを削除せず、内容を修復せず、UTF-16ファイルをデコードもしません。選択された行にNULまたは制御シーケンスが残る可能性があります。
したがって、grep -aを未知の入力に対して単独で実行し、その生の結果をターミナルに表示しないでください。出力をodを通過させます:
LC_ALL=C grep -anF -e 'ERROR' -- application.log | od -An -tx1 -v
codes=("${PIPESTATUS[@]}")
printf 'grep: %s ; od: %sn' "${codes[0]}" "${codes[1]}"
インタラクティブなBashでは、パイプラインの直後にPIPESTATUSを取得し、他のコマンドを挿入しないでください。この配列はgrepとodのステータスを別々に提供します;パイプライン全体の単一のステータスでは2つのステップを解釈するのには不十分です。ここで、LC_ALL=Cがgrepに適用され、パターンはASCIIです。十六進数での出力は、生の制御バイトをターミナルに渡さないようにしますが、大きな内容に対しては読みづらいままです。
-Iと-aは処理の選択として互換性がありません。両方を組み合わせて、両方のバイナリデータを無視し含むことを主張しないでください。--binary-files=without-matchまたは--binary-files=textを選択して、モードを明示的に示すこともできますが、両方のタイプを一緒に追加することは避けてください。
再帰的検索の制限と除外ファイル
ターゲットがディレクトリの場合、-rを特定のパスで使用します。デフォルトで-Rを避けてください:-rはツリーで見つかったシンボリックリンクを追従しませんが、-Rは全てを追跡し、視覚的に見えるターゲットの外を読み取る可能性があります。-D skipはgrepに対して、読み取るファイルとして遭遇したデバイス、FIFO、およびソケットを無視するように要求します。
grep -rInHF -D skip --exclude='*.dump' --exclude-dir='archive' -e 'ERROR' -- ./journaux
-Hはパスの表示を強制し、-nは行番号を提供し、-Fはリテラルパターンを保持します。パスと除外を確認したツリーに適応させます。アポストロフィはBashによる展開からグロブを保護します。--excludeはファイル名を対象にし、--exclude-dirはディレクトリ名を対象にします;これらは内容に適用される正規表現ではありません。これは安全境界ではなく、特に-Rを選択した場合には注意が必要です。.gzファイルが存在する場合、明示的に除外してください:このコマンドはそれらを解凍しません。
ファイルごとに選択された行の数を制限するには、-m 20を追加することができます。これは最大の遅延でもなく、読み取られるデータのグローバル制限でもありません;一致のない検索でも多くのコンテンツをまだ調査することがあります。このバリエーションを包括的として提示しないでください。
テキストジャーナルがバイナリとして処理された際のロケールを確認する
LC_CTYPEは文字を解釈するために使用されるエンコーディングを定義します;LC_ALLが設定されている場合、それはロケールカテゴリーを上書きします。ロケールに対する無効なシーケンスは、NULがなくてもバイナリ処理を引き起こす可能性があります。ロケールCまたはPOSIXでは、各バイトが有効な文字です:したがって、解釈が変わる可能性があります。
特定のASCIIパターンの場合、限られたローカルテストは動作の比較に役立つ場合があります:
LC_ALL=C grep -nF -e 'ERROR' -- application.log
LC_ALL=Cはファイルを変換せず、エンコーディングを修正しません。ケース、文字クラス、およびUnicodeのセマンティクスが変わる可能性があります。NULはバイナリ処理にとって依然として重要です;-aまたは他の適したモードを選択しない限り。このロケールを普遍的な修正として全体的にエクスポートしないでください。
エラーがないと結論付ける前に出力を確認する
新しいワークショップで、合成ファイルを使ってケースを再現できます。以下の作成コマンドは、この孤立したワークショップのみに使用され、既存のジャーナルディレクトリには決して使用されません。最初にTMPDIRが存在する信頼できる場所を指していることを確認してください。そうでない場合、ホームディレクトリが使用されます:
atelier=$(mktemp -d "${TMPDIR:-$HOME}/grep-binaires.XXXXXX") || exit 1
cd -- "$atelier" || exit 1
mkdir -- archive
printf 'INFO startnERROR 読み取り可能n' > texte.log
printf 'INFO startnERROR 先頭 00続きnERROR 後 00n' > nul.log
printf 'ERROR バイト 377n' > invalide.log
printf 'ERROR 古いn' > archive/ancien.log
printf 'ERROR ダンプn' > secret.dump
ln -s -- archive/ancien.log lien.log
これらのリダイレクションは、ワークショップのフィクスチャを作成します;これらは実際のジャーナルへのパスとともにコピーしないでください。printfとエスケープはBash用に設計されています。このフィクスチャでは、期待される比較は:
LC_ALL=C.UTF-8 grep -nF -e 'ERROR' -- nul.log
LC_ALL=C.UTF-8 grep -InF -e 'ERROR' -- nul.log
LC_ALL=C grep -anF -e 'ERROR' -- nul.log | od -An -tx1 -v
LC_ALL=C.UTF-8 grep -rInHF -D skip --exclude='*.dump' --exclude-dir='archive' -e 'ERROR' -- .
最初の呼び出しはstderrでバイナリの一致を通知し、コード0を返します。2つ目は行を選択せず、1を返します。3番目の十六進出力では、00が表示され続けます:-aは何もクリーンアップしていません。再帰的検索は./texte.log:2:ERROR 読み取れるを表示し、archive/やsecret.dumpの内容は表示せず、0を返します。C.UTF-8は、対象のシステムに存在する必要があります;その存在をどこでも仮定しないでください。
invalide.logに関しては、C.UTF-8とCの比較は解釈がロケールに依存することを示しています:C.UTF-8では、バイトffが無効であり、入力がバイナリとして処理される可能性があります;Cでは、その行が選択され、バイトが保持されます。制御バイトを含む可能性のあるすべての出力は、odを通じて確認する必要があります;決して生のまま表示しないでください。
テキストジャーナルが特定された後、エラーをそのコンテキストで再読することができます;このテキストファイルを通じて移動するには、lessでジャーナルを再読します。これらのステップは、バイナリ入力に対する選択を変更することはありません。
あなた自身のファイルでは、コード0、1または2、標準出力とstderrの診断を一緒に保持してください。-Iの単なる空の結果からエラーがないと結論づけないでください。検索がターゲットに対して広すぎる場合は、Ctrl+Cで中断し、その後パスを絞り込んでください;何も削除せず、どのサービスも終了しないでください。このチェックは、実際に読み取られたファイルとトラバースに限定されています:バイナリとして無視されたデータ、除外されたアーカイブ、および未トラバースの流れに一致がないことを保証しません。
技術的情報源: – GNU Grep manual 3.12, ファイルとディレクトリの選択 – GNU Grep manual 3.12, 文字エンコーディング – GNU Grep manual 3.12, 終了ステータス – Manpage GNU grep