當前位置:
首頁 > 知識 > 如何用 Linux 命令行工具解析和格式化輸出 JSON

如何用 Linux 命令行工具解析和格式化輸出 JSON

如何用 Linux 命令行工具解析和格式化輸出 JSON


我們將使用 Linux 上的命令行工具解析並格式化列印 JSON。它對於在 shell 腳本中處理大型 JSON 數據或在 shell 腳本中處理 JSON 數據非常有用。

-- Ostechnix(作者)

JSON 是一種輕量級且與語言無關的數據存儲格式,易於與大多數編程語言集成,也易於人類理解 —— 當然,如果格式正確的話。JSON 這個詞代表 Java Script Object Notation,雖然它以 JavaScript 開頭,而且主要用於在伺服器和瀏覽器之間交換數據,但現在正在用於許多領域,包括嵌入式系統。在這裡,我們將使用 Linux 上的命令行工具解析並格式化列印 JSON。它對於在 shell 腳本中處理大型 JSON 數據或在 shell 腳本中處理 JSON 數據非常有用。


什麼是格式化輸出?

JSON 數據的結構更具人性化。但是在大多數情況下,JSON 數據會存儲在一行中,甚至沒有行結束字元。

顯然,這對於手動閱讀和編輯不太方便。

這是 格式化輸出(pretty print)就很有用。這個該名稱不言自明:重新格式化 JSON 文本,使人們讀起來更清晰。這被稱為 JSON 格式化輸出


用 Linux 命令行工具解析和格式化輸出 JSON

可以使用命令行文本處理器解析 JSON 數據,例如 awk、sed 和 gerp。實際上 JSON.awk 是一個來做這個的 awk 腳本。但是,也有一些專用工具可用於同一目的。

  1. jq 或 jshon,shell 下的 JSON 解析器,它們都非常有用。
  2. Shell 腳本,如 JSON.sh 或 jsonv.sh,用於在 bash、zsh 或 dash shell 中解析JSON。
  3. JSON.awk,JSON 解析器 awk 腳本。
  4. 像 json.tool 這樣的 Python 模塊。
  5. undercore-cli,基於 Node.js 和 javascript。

在本教程中,我只關注 jq,這是一個 shell 下的非常強大的 JSON 解析器,具有高級過濾和腳本編程功能。


JSON 格式化輸出

JSON 數據可能放在一行上使人難以解讀,因此為了使其具有一定的可讀性,JSON 格式化輸出就可用於此目的的。

示例:來自 jsonip.com 的數據,使用 curl 或 wget 工具獲得 JSON 格式的外部 IP 地址,如下所示。

$ wget -cq http://jsonip.com/ -O -

實際數據看起來類似這樣:

{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}

現在使用 jq 格式化輸出它:

$ wget -cq http://jsonip.com/ -O - | jq "."

通過 jq 過濾了該結果之後,它應該看起來類似這樣:

{
"ip": "111.222.333.444",
"about": "/about",
"Pro!": "http://getjsonip.com"
}

同樣也可以通過 Python json.tool 模塊做到。示例如下:

$ cat anything.json | python -m json.tool

這種基於 Python 的解決方案對於大多數用戶來說應該沒問題,但是如果沒有預安裝或無法安裝 Python 則不行,比如在嵌入式系統上。

然而,json.tool Python 模塊具有明顯的優勢,它是跨平台的。因此,你可以在 Windows、Linux 或 Mac OS 上無縫使用它。


如何用 jq 解析 JSON

首先,你需要安裝 jq,它已被大多數 GNU/Linux 發行版選中,並使用各自的軟體包安裝程序命令進行安裝。

在 Arch Linux 上:

$ sudo pacman -S jq

在 Debian、Ubuntu、Linux Mint 上:

$ sudo apt-get install jq

在 Fedora 上:

$ sudo dnf install jq

在 openSUSE 上:

$ sudo zypper install jq

對於其它操作系統或平台參見 官方的安裝指導 。


jq 的基本過濾和標識符功能

jq 可以從 STDIN 或文件中讀取 JSON 數據。你可以根據情況使用。

單個符號 . 是最基本的過濾器。這些過濾器也稱為對象標識符-索引。jq 使用單個 . 過濾器基本上相當將輸入的 JSON 文件格式化輸出。

  • 單引號:不必始終使用單引號。但是如果你在一行中組合幾個過濾器,那麼你必須使用它們。
  • 雙引號:你必須用兩個雙引號括起任何特殊字元,如 @、#、$,例如 jq .foo.」@bar」。
  • 原始數據列印:不管出於任何原因,如果你只需要最終解析的數據(不包含在雙引號內),請使用帶有 -r 標誌的 jq 命令,如下所示:jq -r .foo.bar。

解析特定數據

要過濾出 JSON 的特定部分,你需要了解格式化輸出的 JSON 文件的數據層次結構。

來自維基百科的 JSON 數據示例:

{
"firstName": "John",
"lastName": "Smith",
"age": 25,
"address": {
"streetAddress": "21 2nd Street",
"city": "New York",
"state": "NY",
"postalCode": "10021"
},
"phoneNumber": [
{
"type": "home",
"number": "212 555-1234"
},
{
"type": "fax",
"number": "646 555-4567"
}
],
"gender": {
"type": "male"
}
}

我將在本教程中將此 JSON 數據用作示例,將其保存為 sample.json。

假設我想從 sample.json 文件中過濾出地址。所以命令應該是這樣的:

$ jq .address sample.json

示例輸出:

{
"streetAddress": "21 2nd Street",
"city": "New York",
"state": "NY",
"postalCode": "10021"
}

再次,我想要郵政編碼,然後我要添加另一個對象標識符-索引,即另一個過濾器。

$ cat sample.json | jq .address.postalCode

另請注意,過濾器區分大小寫,並且你必須使用完全相同的字元串來獲取有意義的輸出,否則就是 null。


從 JSON 數組中解析元素

JSON 數組的元素包含在方括弧內,這無疑是非常通用的。

要解析數組中的元素,你必須使用 [] 標識符以及其他對象標識符索引。

在此示例 JSON 數據中,電話號碼存儲在數組中,要從此數組中獲取所有內容,你只需使用括弧,像這個示例:

$ jq .phoneNumber[] sample.json

假設你只想要數組的第一個元素,然後使用從 0 開始的數組對象編號,對於第一個項目,使用 [0],對於下一個項目,它應該每步增加 1。

$ jq .phoneNumber[0] sample.json

腳本編程示例

假設我只想要家庭電話,而不是整個 JSON 數組數據。這就是用 jq 命令腳本編寫的方便之處。

$ cat sample.json | jq -r ".phoneNumber[] | select(.type == "home") | .number"

首先,我將一個過濾器的結果傳遞給另一個,然後使用 select 屬性選擇特定類型的數據,再次將結果傳遞給另一個過濾器。

解釋每種類型的 jq 過濾器和腳本編程超出了本教程的範圍和目的。強烈建議你閱讀 jq 手冊,以便更好地理解下面的內容。

資源:

  • https://stedolan.github.io/jq/manual/
  • http://www.compciv.org/recipes/cli/jq-for-parsing-json/
  • https://lzone.de/cheat-sheet/jq

via: https://www.ostechnix.com/how-to-parse-and-pretty-print-json-with-linux-commandline-tools/

作者: ostechnix 選題: lujun9972 譯者: wxy 校對: wxy

本文由 LCTT 原創編譯, Linux中國 榮譽推出

點擊「了解更多」可訪問文內鏈接

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 Linux技術 的精彩文章:

以色列間諜軟體聲稱擊敗了蘋果 iCloud 的安全保護措施
風河修復了 VxWorks 實時操作系統的 11 個重大安全漏洞

TAG:Linux技術 |