简介 Apache Flink

参考官方文档 https://flink.apache.org/

Apache Flink® — Stateful Computations over Data Streams

Apache Flink是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。

Flink被设计成可在所有常见的集群环境中运行，在任何规模下以"内存速度"执行计算。

REST API

参考官方文档 https://ci.apache.org/projects/flink/flink-docs-stable/ops/rest_api.html#jobmanager-logs

Flink 具有监控 API，可用于查询"正在运行的jobs" 和 "最近完成的jobs" 的状态和统计信息。该监控 API 被用于 Flink 自己的dashboard，同时也可用于自定义监控工具。

该监控 API 是 REST-ful API, 即接受 HTTP请求，并响应JSON格式的数据。

使用REST API

监控 API 中有一个API是 /jobmanager/logs

作用是: Returns the list of log files on the JobManager.

Request 1:

GET jobmanager/logs HTTP/1.1
Host: 10.1.1.3:8081
Cache-Control: max-age=0
Accept-Encoding: gzip, deflate
Connection: close

Response 1:(手动格式化了json数据)

HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Access-Control-Allow-Origin: *
content-length: 1031

{
  "logs": [
    {
      "name": "flink-work-taskexecutor-0-instance-demo.test.out.3",
      "size": 0
    },
    {
      "name": "flink-work-standalonesession-0-instance-demo.test.log",
      "size": 123126
    },
    {
      "name": "flink-work-taskexecutor-0-instance-demo.test.log.1",
      "size": 19991
    },
    {
      "name": "flink-work-taskexecutor-0-instance-demo.test.log.2",
      "size": 18651
    },