黄济泳-基于Kuiper和KubeEdge的边缘流数据分析GOTC深圳会场15页.pdf

「边缘计算」专场

本期议题：基于Kuiper和KubeEdge的边缘流数据分析

黄济泳2021年08月01日

Agenda

•开源IOT边缘流数据分析：LFEdgeeKuiper

•使用eKuiper进行边缘流数据分析

•KubeEdge+eKuiper云边协同的流处理方案

•eKuiper开源社区现状与未来规划

流式分析

流式分析在边缘端

•流式分析

•对无限的数据流进行状态分析的软件或者框架

•对流数据进行管理、监控和实时分析

•典型运行在云端

•ApacheFlinkSpark不适合边缘端流式分析

•时延

•数据安全

•带宽成本

•边缘流式分析的挑战

•轻量级和高效：边缘端CPU和内存受限

•敏捷与灵活：需要用更加敏捷的方式实现业务支持，避免复杂的编码和编译等工作

•部署和管理：非集中，在弱网情况下的分布式部署

LFEdgeeKuiper

开源IoT边缘分析

2021年6月份加入LFEdge

•首个由国内初创公司贡献的项目

eKuiper项目主要里程碑

•June2021LFEdgeStage1AtLarge

•May2021发布1.2.0，支持ML/AI函数调用

•Feb,2021发布1.1.1，支持二进制数据处理

•Oct,2020：发布1.0.0，第一个稳定的主版本

•Jul,2020：发布0.5.1，与KubeEdge集成

•Apr,2020：发布0.3.2，与EdgeXFoundry集成

•Oct,2019开源并发布第一个版本

eKuiper概述

为边缘流处理而生

•二进制可安装包和Docker镜像

•8MB安装包;10MB初始内存使用

•X86AMD*32,X86AMD*64;ARM*32,ARM*64;PPC

•Linux发行版,OpenWrtLinux,MacOS与Docker

•性能

•树莓派3B+

•TPS12k

•CPUsys+user70%

•内存20M

*详情参考https///emqx/kuiper#performance-test-result

•eKuiper–数据ETL

•数据抽取(extract)sources

•数据转换(transformation)使用SQL进行分析+转换

•数据存储(load)sinks

快速上手

使用eKuiper3步骤

•创建流create

stream

demo

()

WITH

(FORMAT=JSON,

DATASOURCE=$hw/events/device/+/twin/update)

•创建规则{

sql:

SELECT

data-tag1-value

AS

temperature,

data-tag2-value

AS

humidity

FROM

demo,

actions:

[

{

log:

{}

},

{