最近项目要调用第三方接口来获取json数据，并解析数据入库。这里用到了kettle作为数据抽取工具。Kettle 除了常规的数据处理之外，还可以模拟发送HTTP client/post  ，REST client。

这里顺便讲一下这三个组件的区别之处，省的下次绕迷糊。 

1.HTTP Post组件

”post“顾名思义应该就是http请求方式为post，这里查看源码也得到证实，是引入的org.apache.commons.httpclient.methods里面的方法。

try {
      if ( isDetailed() ) {
        logDetailed( BaseMessages.getString( PKG, "HTTPPOST.Log.ConnectingToURL", data.realUrl ) );
      }

      // Prepare HTTP POST
      //
      HttpClient httpPostClient = SlaveConnectionManager.getInstance().createHttpClient();
      PostMethod post = new PostMethod( data.realUrl );
      // post.setFollowRedirects(false);

下面我用代码模拟了一个get方式的请求，在kettle中使用该组件调用该请求，未获取到结果集。返回结果中提示“系统发生异常”，可想而知，该组件并不支持get方式的请求。（这里顺便提示一下，由于HTTP Client和Post都是查询菜单里的组件，并不是输入流组件，所以使用该组件前面必须要配合输入流的组件使用，否则执行的时候，由于你并没有输入流传入，所以程序自动判断你的转换没有源数据流入，自动结束运行，程序会自动退出，不会执行后面的流程。所以，要切记，使用该组件之前一定要有输入组件，可以将url或者请求参数作为输入流）。

@RequestMapping(value = "/infoTrans", method = GET, produces = "application/json")
    public Object infoTrans(HttpServletRequest request, HttpServletResponse response) throws IOException {
        // TODO Auto-generated method stub
        String attribute = (String)request.getAttribute("p2");
        result = "{\r\n" +
                "\"BasicResponse\": {\r\n" +
                "\"succeeded\": 1\r\n" +
                "},\r\n" +
                "\"RTDataSets\": [\r\n" +
                "{\r\n" +
                "\"kksCode\": \"EB002HP4MKA01MK001BN01J1CB001BB02\",\r\n" +
                "\"RTDataValues\": [\r\n" +
                "{\r\n" +
                "\"Value\": 5.5944,\r\n" +
                "\"Time\": 1446184512000\r\n" +
                "},\r\n" +
                "{\r\n" +               
                "}\r\n" +
                "]\r\n" +
                "}";      
        return result;
    }

所以。使用该组件的时候，一定要知道你请求的接口请求方式是什么类型的。接下来，那你一定会问，如果HTTP Post是请求Post方式的，那Get方式的怎么请求呢，没错，就是Http Client组件了，不知道官方为什么把组件名命名为这样，而不是叫做HTTP Get，可能命名不好听吧....额，反正我是圆不下去了，管他呢，everything 有毒....，然后我用Client组件请求该接口，ok，一切顺利。

接下来，讲一讲剩下的那两个组件，REST Client和Json数据解析,REST Client是针对RestFul风格的http请求获取其数据的，这里你可以支持多种请求方式，如Post，Get，Put，Delete等。这一个组件等同于前两个组件的集合吧。http post 和 http Client 这两个都可以利用Rest Client来替代。下面来说说Rest Client 怎么使用：

这样就完成了调用接口获取token值了。

还有一个说明一下：

一、对于json数据的解析

简介

• JSONPath - 是xpath在json的应用。

             类似于XPath在xml文档中的定位，JsonPath表达式通常是用来路径检索或设置Json的。其表达式可以接受“dot–notation”和“bracket–notation”格式，例如$.store.book[0].title、$[‘store’][‘book’][0][‘title’]

• JSONPath 表达式

1. JSONPaht 用一个抽象的名字$来表示最外层对象。
2. 使用.符号：$.store.book[0].title
3. 使用[]:$['store']['book'][0]['title']
4. 数组索引

1）JSONPath 允许使用通配符 * 表示所以的子元素名和数组索引。还允许使用 '..' 从E4X参照过来的和数组切分语法[start:end:step]

2）$.store.book[(@.length-1)].title

3）使用'@'符号表示当前的对象，?(<判断表达式>) 使用逻辑表达式来过滤

$.store.book[?(@.price < 10)].title

二、JSONPath语法元素和对应XPath元素的对比

三、jsonpath使用举例

        接口返回：

1. [{
2.              "id": "PRIMARY",
3.              "name": "小学",
4.              "front_id": "PRIMARY",
5.              "front_name": "小学"
6. }, {
7.              "id": "JUNIOR",
8.              "name": "初中",
9.              "front_id": "JUNIOR",
10.              "front_name": "初中"
11. }, {
12.              "id": "HIGH",
13.              "name": "高中",
14.              "front_id": "HIGH",
15.              "front_name": "高中"
16. }, {
17.              "id": "TECHNICAL",
18.              "name": "中专/技校",
19.              "front_id": "TECHNICAL",
20.              "front_name": "中专/技校"
21. }, {
22.              "id": "COLLEGE",
23.              "name": "大专",
24.              "front_id": "COLLEGE",
25.              "front_name": "大专"
26. }, {
27.              "id": "BACHELOR",
28.              "name": "本科",
29.              "front_id": "BACHELOR",
30.              "front_name": "本科"
31. }, {
32.              "id": "MASTER",
33.              "name": "硕士",
34.              "front_id": "MASTER",
35.              "front_name": "硕士"
36. }, {
37.              "id": "DOCTOR",
38.              "name": "博士",
39.              "front_id": "DOCTOR",
40.              "front_name": "博士"
41. }]

接口返回：

1. {
2.     "store": {
3.         "book": [
4.             {
5.                 "category": "reference",
6.                 "author": "Nigel Rees",
7.                 "title": "Sayings of the Century",
8.                 "price": 8.95
9.             },
10.             {
11.                 "category": "fiction",
12.                 "author": "Evelyn Waugh",
13.                 "title": "Sword of Honour",
14.                 "price": 12.99
15.             },
16.             {
17.                 "category": "fiction",
18.                 "author": "Herman Melville",
19.                 "title": "Moby Dick",
20.                 "isbn": "0-553-21311-3",
21.                 "price": 8.99
22.             },
23.             {
24.                 "category": "fiction",
25.                 "author": "J. R. R. Tolkien",
26.                 "title": "The Lord of the Rings",
27.                 "isbn": "0-395-19395-8",
28.                 "price": 22.99
29.             }
30.         ],
31.         "bicycle": {
32.             "color": "red",
33.             "price": 19.95
34.         }
35.     },
36.     "expensive": 10
37. }

四、过滤器

例如：

1）所有具有isbn属性的书

$.store.book[?(@.isbn)].author

2)所有价格大于10的书

$.store.book[?(@.price > 10)]

3）查询xxx==3的所有对象

$.result.list[?(@.xxx ==3)]

4）可以自定义过滤器来获取想要的任何元素，可以多条件查询

五、在线解析器

http://jsonpath.com/

https://jsonpath.curiousconcept.com/

在这里，你可以将你的json格式的数据拷贝上去，自己手动写表达式解析查看。