Zum Inhalt springen
System

Eine JSON-Datei mit jq unter Linux lesen, ohne mit grep zu basteln

Avatar illustré de Julien Macé 3 Min. Lesezeit
Manchot Linux examinant une structure de données JSON
jq permet de lire une structure JSON sans dépendre de sa présentation sur une ligne ou sur dix.

Eine API-Antwort kommt im JSON-Format, Sie suchen einen Wert und enden dann mit grep und cut. Das kann funktionieren, solange die Datei genau dasselbe Format behält. Sobald ein Schlüssel in ein verschachteltes Objekt übergeht, ein Array erscheint oder die Antwort nach einem HTTP-Fehler zu einer HTML-Seite wird, liest das Skript manchmal die falschen Daten.

jq liest die JSON-Struktur, statt nach einer Zeichenkette zu suchen. Es ist das richtige Werkzeug, um ein Feld zu extrahieren, ein Array zu filtern und ein Skript fehlschlagen zu lassen, wenn die erwarteten Daten fehlen.

Linux-Pinguin, der eine JSON-Datenstruktur betrachtet
jq ermöglicht das Lesen einer JSON-Struktur, ohne von ihrer Darstellung auf einer Zeile oder zehn abhängig zu sein.

Überprüfen Sie jq und die Datei vor der Anfrage

Unter Debian oder Ubuntu installieren Sie das Paket mit sudo apt update && sudo apt install jq. Fedora, RHEL und deren Derivate verwenden in der Regel sudo dnf install jq. Beginnen Sie, indem Sie den Befehl und das Dokument überprüfen, das Ihr Skript lesen wird.

jq --version
jq empty config.json

jq empty zeigt das Dokument nicht an. Es überprüft die Syntax und gibt einen Fehler zurück, wenn die Datei abgeschnitten oder ungültig ist. Führen Sie diese Kontrolle vor einer Schleife, einem Deployment oder einer Konfigurationsänderung durch. Eine HTTP 502-Antwort, die in einer .json-Datei gespeichert ist, bleibt HTML, nicht JSON.

Ein Feld extrahieren und ein Array filtern

Für diese Testdatei hat der Dienst einen Namen und einen Port, während jeder Knoten seinen eigenen Status hat.

{
  "service": {"name": "api", "port": 8080},
  "nodes": [
    {"name": "web-1", "enabled": true},
    {"name": "worker-1", "enabled": false}
  ]
}

Die Option -r entfernt die Anführungszeichen um eine Zeichenkette. Sie ist praktisch, wenn der Wert von einem anderen Befehl verwendet werden soll.

jq -r '.service.name' config.json
jq -r '.nodes[] | select(.enabled == true) | .name' config.json

Der erste Befehl zeigt api an. Der zweite durchläuft nodes, behält die Objekte, bei denen enabled den Wert true hat, und gibt nur deren Namen aus. Das offizielle jq-Handbuch beschreibt diese Durchlauf mit .[], Filtern und select().

Das Skript zum Fehlschlagen bringen, wenn der Wert fehlt

Ein Verwaltungs-Skript sollte nicht mit einer leeren Variable fortfahren. Die Option -e gibt einen nutzbaren Rückgabecode zurück: null, wenn das letzte Ergebnis vorhanden und ungleich false oder null ist, eins, wenn der Wert false oder null ist, und vier, wenn kein Ergebnis produziert wird.

#!/usr/bin/env bash
set -euo pipefail

fichier="config.json"
jq empty "$fichier"

if port=$(jq -er '.service.port? // empty' "$fichier"); then
  printf 'Konfigurierten Port: %sn' "$port"
else
  printf 'Port fehlt oder JSON ungültign' >&2
  exit 1
fi

Halten Sie die jq-Filter in einfachen Anführungszeichen unter Bash. Die Shell wird dann nicht versuchen, $, [] oder | vor jq zu interpretieren. Wenn das Feld ein Geheimnis enthalten kann, vermeiden Sie es auch, es mit printf in CI-Protokollen anzuzeigen.

Warum grep schließlich kaputt geht

grep sucht nach Text. Es unterscheidet nicht zwischen einem Schlüssel port im service und einem anderen Schlüssel mit demselben Namen in einem benachbarten Objekt. Die Reihenfolge der Felder, Leerzeichen, Zeilenumbrüche und Escape-Zeichen können sich ebenfalls ändern, ohne die JSON-Daten zu verändern.

Behalten Sie grep für eine Textprotokollierung oder eine schnelle Suche in einer Datei, die Sie kontrollieren. Für eine API-Antwort, eine Konfigurationsdatei oder einen Export verwenden Sie jq. Wenn Sie zuerst die API abrufen müssen, hilft der Leitfaden curl unter Linux, den HTTP-Code und die Header zu überprüfen, bevor Sie die Antwort an jq weitergeben.

jq an seinem Platz in der Automatisierung halten

Für eine Konfigurationsdatei oder eine API-Antwort normaler Größe bleibt jq die lesbarste Wahl. Bei einem sehr großen Dokument vermeiden Sie --slurp: Diese Option lädt den gesamten Stream in ein Array. Der Modus --stream gibt es, um große Streams zu verarbeiten, er fordert jedoch einen anderen Filter und verdient einen Test an einer Kopie.

Ich würde auch eine Kopie erstellen, bevor ich JSON vor Ort bearbeite. Für eine versionierte Konfiguration lassen Sie jq zuerst in eine neue Datei schreiben, vergleichen Sie mit diff -u, und ersetzen Sie die Originaldatei, wenn das Ergebnis dem Erwarteten entspricht. Das gleiche Prinzip vermeidet Überraschungen mit sed unter Linux.

Bevor Sie einen Wert eine andere Kommandozeile steuern lassen, validieren Sie das JSON, extrahieren Sie das Feld mit -e und überprüfen Sie die Ausgabe. Es ist kürzer als eine Pipeline grep | cut, und vor allem stoppt das Skript, wenn die Struktur nicht mehr der erwarteten entspricht.

Teilen Facebook X WhatsApp LinkedIn Pinterest Reddit E-Mail