大きな application.log の検索には時間がかかる場合がありますが、タイマーだけでは grep が多くのファイルを読み込んでいるのか、行を表示しすぎているのか、高価なパターンを適用しているのかはわかりません。コマンドを比較する前に、ファイルを特定し、読み込み可能で安定していることを確認し、その後、完全な検索を基準として残しておきます。以下のパスは、あなたのシステムに合わせて調整する例です。
ファイルを特定し、完全な検索を確立する
まず、ツール、パス、サイズ、最終更新日、および読み取り権限を確認します。サービスがその中に書き込み続けている場合は、ログの固定コピーを使用してください。
grep --version
test -f application.log && test -r application.log
stat -c '%n : %s バイト, 更新 %y' -- application.log
test -x /usr/bin/time
stat コマンドは、内容を読み込まずにターゲットを説明します。チェックが失敗した場合は停止してください:確認するのはパスやファイルへのアクセスであり、検索範囲をシステム全体に広げることではありません。ログにはアドレス、ID、またはトークンが含まれている場合があります。出力を共有スペースにコピーする前に、確認してください。
次に、完全で読みやすい検索を開始します:
grep -nF -e 'ERROR' -- application.log
rc=$?
printf 'grepコード : %sn' "$rc"
-n は行番号を追加します。-F は ERROR をリテラルなテキストとして解釈します。-e はパターンを示し、-- は後続の引数がパスであることを示します(たとえダッシュで始まっていても)。エラーを含むファイルの場合、このコマンドは選択された各行を表示します;コード 0 は少なくとも1行が一致することを意味します。コード 1 は一致する行がないことを意味します。コード 2 はエラーを意味し、たとえばファイルが存在しないまたは読み取れない場合です。stderr に診断情報を保持してください:エラーを伴う空の結果は、成功した検索ではありません。
この参照はパターンとコーパスを固定します。これにより、短い出力と迅速な処理を混同するのではなく、次の変更を確認できます。
パターンを変更する前に検索するファイルを減らす
サービスのログだけを検索する場合は、広範な再帰を実行するのではなく、ファイル名を指定してください。短いリストの場合、関連するパスを直接 grep に渡してください。プレゼンスまたはアクセスが保証されていない場合は、test -f および test -r で事前に確認してください。
アーカイブ archives を明示的に除外してディレクトリツリー内のログファイル .log を選択するには、最初にリストを調べます:
find . -type d -name archives -prune -o -type f -name '*.log' -print
この範囲が質問に正確に対応していることを確認した後、パスを直接 grep に渡すことができます:
find . -type d -name archives -prune -o -type f -name '*.log'
-exec grep -HnF -e 'ERROR' -- {} +
-prune は find が除外されたフォルダに降りていくのを防ぎます。-exec ... {} + はパスをバッチにまとめます;非常に大規模なリストの場合に1回の実行で十分であることを保証するものではありません。-H は、バッチにファイルが1つだけ含まれている場合でも、出力にファイル名を保持します。パスは引数として渡され、スペースに対する不適切な分割はありません。stderrを表示しておきます:find の集約状態が -exec ... + によって必ずしも grep のバッチ内の不一致をエラーとして区別するわけではありません。巡回中に変更されたツリーはスナップショットではありません。
GNU grep での別の可能性は、ターゲットを絞った再帰です:
grep -rHnF --include='*.log' --exclude='*.gz'
--exclude-dir=archives -e 'ERROR' -- .
除外はコマンド内に表示され、実際に役立つファイルに合わせて調整する必要があります。-r はシンボリックリンクをたどらずにディレクトリを下ります;これは -R に置き換えないでください、これはそれらのリンクをたどり、コーパスを拡大する可能性があります。ファイルを除外することで作業が減ります:いくつかはもはや検索されないからです。それは同等の結果での最適化ではありません。非常に大きな単一ファイルは、ディレクトリの除外によって短縮されるわけではありません。
-F と C ロケールを使用し、マッチを変更しない
パターンがリテラルな文字列(例えば ERROR)である場合は -F を維持してください。構造を描写する必要がある場合は -E を選択します、たとえば行のプレフィックスの後にセパレーターが続く場合です。-F と -E を累積しないでください:これはパターンを解釈するための2つの異なる方法です。リテラル検索を正規表現に変換して、時間を節約しようとしないでください。
リストも -f を使って読み取ることができます、これには各行に1つのルールがあります。grep 用のパターンリストを準備するために、特に誤って空行が含まれていないことを確認してください:空のパターンはすべての行を選択する可能性があります。
大文字と小文字を区別する ASCII パターンについては、LC_ALL=C が比較候補です:
LC_ALL=C grep -nF -e 'ERROR' -- application.log
C ロケールは、一部の処理を効率的にする可能性がありますが、文字のルールも変更します。これはファイルを UTF-8 に変換するものではありません。Unicode に関する動作や、-i、[[:alpha:]] のようなクラスや [a-z] のような範囲の結果が異なる場合があります。したがって、これらのルールに依存するパターンの意味が変わる場合はこのプレフィックスを使用しないでください;グローバルにエクスポートしないでください。特定のコーパスで一致を確認してから、時間を解釈してください。grep がファイルがバイナリであると報告した場合は、なぜ grep がそのファイルをバイナリとして処理するのか確認してくださいその後に対応を選択してください;パフォーマンスオプションで問題を隠さないでください。
すべての行、一つのカウント、および最初の証明の選択
これらのオプションは同じ目的に応じません。短い出力は、grep がデータを少なく読んだことを意味するものではありません。
| モード | 得られた結果 | 停止時間 | それが証明しないもの |
|---|---|---|---|
| 完全検索 | 選択されたすべての行 | ファイルの必要な走査後 | 他のパターンまたはコーパスが同等であること |
-m 1 |
各ファイルにつき最大1行選択 | 各ファイルの最初の一致後 | 他の一致が存在しないこと |
-l |
一致を含むファイルの名前 | 各ファイルの最初の一致時 | 内容全体または行数 |
-c |
各ファイルで選択された行の数 | 必要なカウント後 | 出現回数:1行に2つのパターンがある場合は1行とカウントする |
-q |
stdoutに出力なし;一致があればすぐにコード0 | 最初の一致時 | 完全な読み込み:一致のあとにエラーが発生した場合は隠されることがある |
最初の証明に実際に関する質問がある場合は、-m、-l、または -q を選択してください。-c は出力を減らしますが、完全なカウントには通常ファイルの走査が必要です。これらのモードのいずれも、完璧な検索と比較してタイミングされるべきではありません。
パイプの遅延と検索時間の区別
--line-buffered は、grep にパイプに書き込むときに各行の後に出力をフラッシュするよう要求します。これにより、フロー内での表示前の待機が短縮される可能性があります;これは大きなファイルの読み込みを普遍的に加速するものではありません。パイプ内で次のプログラムが自分自身の出力をバッファすることもあります。grep のエラーメッセージは stderr に残ります。
Bash での2つのコマンドのステータスを制御するには、パイプの直後に PIPESTATUS をコピーします。他のコマンドの前に:
grep -nF -e 'ERROR' -- application.log | wc -l
codes=("${PIPESTATUS[@]}")
printf 'grep=%s wc=%sn' "${codes[0]}" "${codes[1]}"
wc で表示された数値は、基準出力を置き換えるものではなく、そのコードだけでは grep のエラーを示しません。フォロー中のログや コンテキスト付きのエラーを見つける場合、ニーズは完全な検索の比較とは異なります。
時間を比較する前に出力を比較する
検索されたツリーの外にあるプライベートワークショップで測定します。mktemp は一時ディレクトリを作成します;その場所が信頼できるものであり、2回の完全な出力に対して十分なスペースを持っていることを確認してください。安定したファイルで作業します。例は、Cロケールの有無による同じリテラル検索を比較します:
workspace=$(mktemp -d "${TMPDIR:-$HOME}/grep-perf.XXXXXX") || exit 1
stat -c '%n : %s バイト, 更新 %y' -- application.log
/usr/bin/time -f 'real=%e user=%U sys=%S code=%x'
grep -nF -e 'ERROR' -- application.log > "$workspace/reference.txt"
ref_rc=$?
/usr/bin/time -f 'real=%e user=%U sys=%S code=%x'
env LC_ALL=C grep -nF -e 'ERROR' -- application.log > "$workspace/candidate.txt"
candidate_rc=$?
printf 'reference=%s candidate=%sn' "$ref_rc" "$candidate_rc";
cmp -- "$workspace/reference.txt" "$workspace/candidate.txt"
cmp_rc=$?
printf '比較 : %sn' "$cmp_rc"
stat -c '%n : %s バイト, 更新 %y' -- application.log
/usr/bin/time が表示する外部の経過秒 (real)、ユーザーおよびシステム時間 (user、sys)、およびコマンドのステータス。2つの出力は異なるファイルに保存され、診断情報は表示されたままです。cmp のステータス0は出力が同じことを意味し、1は異なることを、2は比較が失敗したことを意味します。
両方の検索が期待されるステータスを持ち、診断が表示されず、cmp が0を返し、入力ファイルのメタデータが前後で一貫している場合にのみ、時間を解釈します。入力の一致はすべての今後のファイルに対する同等性を証明するものではありません。マッチングを期待している場合は、既知の行も確認してください。
測定は交互の順で繰り返します:システムのキャッシュ、負荷、およびストレージが結果に影響を与える可能性があります。同じ範囲、同じオプション、同じ出力を維持してください;本番環境でキャッシュをクリーンアップしないでください。ここでの利益は測定されていません。中断は部分的な出力を残し、完全な証明にはなりません。
この方法は通常の安定したテキストファイルが前提です。検索中のローテーション、大型の行、圧縮またはバイナリファイル、ライブログ、および結果に対するスペース不足は、異なる診断を課します。最後の確認として、コードを再読し、application.log のメタデータを比較してから結果を保持してください。
確認すべきソース
- GNU grep マニュアル、特にパフォーマンス、マッチ確認、出力、戻りコードに関するセクション。
- GNU coreutils マニュアル、
/usr/bin/timeとstatについて。