59-数栖-实时开发v1.4.0-用户手册.pdfVIP

数栖·实时开发⽤户⼿册

产品介绍

产品概述

产品架构图

产品优势

名词解释

⽤户指南

项⽬管理

新建项⽬

编辑项⽬

删除项⽬

初始化项⽬

项⽬详情

作业列表

项⽬配置

开发中⼼

实时计算

StructuredStreaming作业

StructuredStreamingSql作业

Flink作业

FlinkSql作业

实时同步

新建作业

配置作业

作业操作

属性配置

版本配置

函数开发

实时计算Spark⾃定义函数

1

实时计算Flink⾃定义函数

实时同步函数

资源⽂件

运维监控

作业监控

作业状态统计

作业列表监控

作业详情

告警列表

告警组

告警组管理

组员管理

作业示例

数据准备

环境准备

作业准备

StructuredStreaming作业示例

功能说明

代码准备

作业配置

作业运⾏

StructuredStreamingSql作业示例

功能说明

代码准备

作业配置

作业运⾏

Flink作业示例

功能说明

代码准备

作业配置

作业运⾏

FlinkSql作业示例

2

功能说明

代码准备

作业配置

作业运⾏

实时同步作业示例

功能说明

代码准备

作业配置

作业运⾏

案例实战

案例⼀：双⽅⾦额异常校验

背景介绍

业务流程介绍

实时开发

项⽬配置

进⼊开发

数据验证

案例⼆：历史⾦额异常校验

背景介绍

业务流程介绍

实时开发

Hive数据源（A）

Kafka数据源（B）

Sql处理算⼦（C）

Sql处理算⼦（D）

Sql处理算⼦（E）

Sql处理算⼦（F）

Sql处理算⼦（G）

Kafka数据源（H）

开发指南

实时同步Groovy函数开发指南

函数说明

3

新建函数

函数案例

FlinkSql快速建表

⽀持的数据源类型

DDL模板示例

Source源表

维表

Sink结果表

FlinkSql计算列

定义

语法

案例

FlinkSql多流多维表Join

双流双维表Join

双流单维表Join

FlinkSql处理嵌套json数据

cdc数据格式

ogg数据格式

canalbinlog数据格式

StructuredStreamingSql处理嵌套json数据

cdc数据格式

ogg数据格式

canalbinlog数据格式

权限说明

FAQ

问题

问题

产品介绍

产品概述

4

实时开发是数澜提供的低延迟、⾼吞吐、⾼可靠的分布式流数据分析⼯具，通过全托管的⽅式让⽤户不⽤

关⼼底层计算集群的架构原理，只需要聚焦于本身的业务逻辑，有SQL代码基础即可执⾏作业。⽬前已⽀

持通过可视化图形拖拽的⽅式快速构建实时计算作业。

实时开发在数栖平台业务闭环中，是实现数据资产化的重要⼯具之⼀。数据在线化是未来的⼀个趋势，数