SelectDB日志存储与分析解决方案白皮书.docx

成本?压缩率

成本·写入吞吐性能·文本检索

成本·写入吞吐

易维护性能·聚合分析

易维护

高可用

支持大规模实时数据上的极速查询分析

问题请咨询限期免费试用关注公众号

常见的解决方案

二、用户使用手册

01资源评估

02集群部署

建表

日志采集

日志查询

三、典型用户案例22

01selectDB助力观测云实现日志存储与分析的10倍性价比提升2202查询提速11倍、资源节省70%,网易日志和时序场景的落地实践3203查询平均提速700%,奇安信日志安全分析系统的升级实践4304统一日志检索与报表分析,360企业安全浏览器的数据架构升级实践52

四、核心技术解读

成本高、性价比低

混合架构的成本高、性价比低主要从以下几个方面体现:

不仅如此,随着数据和集群规模增长,Elasticsearch集群还面临稳定性的挑战:

实时分析能力弱

ESDSL

SQL

基于selectDB的日志存储与分析平台主要由3大核心部分组成:

基于selectDB的日志存储与分析平台的特点和优势如下:

高性能、低成本

zone

zoneMap索引

BloomFilter索引

NGramBloomFilter索引

Flexibleschema

selectDB对灵活schema的日志数据提供了几个方面的支持:

相对于ElasticsearchDynamicMapping,selectDB的Flexibleschema有下面一些优势:

跟其他方案的对比

通过下面的图,我们从几个日志场景的关键点来对比几个典型的方案:

成本·压缩率

成本·写入吞吐性能·文本检索

成本·写入吞吐

易维护性能·聚合分析

易维护

高可用

资源评估的几个关键点:

?写入资源评估:需求写入总吞吐/单核写入吞吐=需要的CPU核数·存储资源评估:日增数据量*存储天数/压缩率=需要的存储空间

具体计算方法如下,可以调整关键参数自动计算BE服务器数量

·fe/conf/fe.conf

?be/conf/be.conf

存储

compaction

其他

分区和排序

分桶

compaction

索引

存储

1.下载安装LogstashDorisoutput插件

2.配置Logstash

logsta