jsonpath

JSONPATH

　　　我们在抓取的时候,可以访问一些网页的api接口,网站通过接口返回给我们的是json数据,这样就省去了我们用xpath取解析的麻烦,然而有时候这个接送数据量特别大,如汽车数据,每个汽车有两百多个信息,一下子给你返回十几辆车的信息,这个json数据量就比较大了,这个时候想要提取出有用的信息就需要一大堆的for循环, 不停的字典.get() 方法获取数据,比较麻烦,代码也不美观.这个时候我们就可以用jsonpath解决问题.

　　1. 先来熟悉一下jsonpath的操作符

$ 查询根元素
@ 当前节点由过滤词处理
* 通配符, 必要时可用任何地方的名称或数字
.. 深层扫描
.<name> 表示子节点
['<name>', (,'<name>')] 括号表示子项
[start:end] 数组切片操作
[?( expresion )] 过滤表达式, 表达式必须为一个布尔值

　　2. jsonpath的函数

min() 数字数组的最小值
max() 数字数组的最大值
avg() 数字数组的平均值
stddev() 数字数组的标准差值
length() 数组的长度

　　以上函数只有length函数返回整形, 其他方法返回的都是浮点型

　　3. 过滤器运算符

　　　过滤器是用于筛选数组的逻辑表达式,一个典型的过滤器格式如下:[?(@.age > 18)], 其中@表示当前正在处理的项目.　　

　　　可以使用逻辑运算符&&和||创建更复杂的项目,

　　　字符串文字必须用单引号或者双引号括起来如: [?(@.color == 'blue' )] 或者 [?(@.color == "blue")]

== 等于
!= 不等于
<
<=
>
>=
=~ 匹配正则表达式 [?(@.name =~ /foo.*?/i)]
in 左边存在于右边 [?(@.name in ['s', 'm'])]　
nin 左边不存在于右边
size 数组或字符串长度
empty 数组或字符串为空

　　4 实例

{
    "store": {
        "book": [
            {
                "category": "reference",
                "author": "Nigel Rees",
                "title": "Sayings of the Century",
                "price": 8.95
            },
            {
                "category": "fiction",
                "author": "Evelyn Waugh",
                "title": "Sword of Honour",
                "price": 12.99
            },
            {
                "category": "fiction",
                "author": "Herman Melville",
                "title": "Moby Dick",
                "isbn": "0-553-21311-3",
                "price": 8.99
            },
            {
                "category": "fiction",
                "author": "J. R. R. Tolkien",
                "title": "The Lord of the Rings",
                "isbn": "0-395-19395-8",
                "price": 22.99
            }
        ],
        "bicycle": {
            "color": "red",
            "price": 19.95
        }
    },
    "expensive": 10
}

在线测验网址: http://jsonpath.herokuapp.com/

获取json中store下面的book下面的所有作者 $.store.book[*].author
获取json中的所有作者 $..author
匹配store中所有的物品 $.store.*
获取json中的所有price值 $..price
获取book数组中的第三个值 $.store.book[2]
倒数的第二本书 $.store.book[-2]
前两本书 $.store.book[0, 1]
索引0到索引2的所有书 $.store.book[0:2]
最后两本书 $.store.book[-2:]
包含isbn属性的所有书 $.store.book[?(@.isbn)]
price小于10的所有书 $.store.book[?(@.price< 10)]
获取json中book数组中price<=expensive的所有值 $..book[?(@.price <= $['expensive'])]
获取json中book数组中的作者以REES结尾的所有值（REES不区分大小写） $..book[?(@.author =~ /.*REES/i)]
逐层列出json中的所有值，层级由外到内 $..*
获取json中book数组的长度 $..book.length()

------------恢复内容结束------------