elasticsearch数据长期保存的方案.docxVIP

Elasticsearch的数据就存储在硬盘中。当我们的访问日志非常大时，kabana绘制图形的时候会非常缓慢。而且硬盘空间有限，不可能保存所有的日志文件。如果我们想获取站点每天的重要数据信息，比如每天的访问量并希望能图像化的形式显示该如何做呢？一、具体操作方法获取数据之前你要知道你想要什么样的数据。比如我想获取每小时网站访问的PV，在kibana中肯定能获取到这是在kibana中查询的每小时的pv,然后我们把他的查询json复制出来把上述json粘贴到test文件中 然后使用如下语句即可查询上图显示的查询结果curl -POST 9:9200/_search -d @test{took:940,timed_out:false,_shards:{total:211,successful:211,failed:0},hits......然后把返回的结果中的数据获取存入data数组中，这是你可以存入数据库也可以转换成json直接插入es这种方法主要是通过elasticsearch的查询语句把数据查询出来在传参给其他地方。你输入固定的查询json它返回的json数据也是固定格式的，这样很方面就能从中挖掘出我们想要的数据！二、php代码实现上述操作class.php1234567891011121314151617181920212223242526272829303132333412345678910111213141516171819202122232425262728293031323334353637?php#从ES中导出数据#两个参数：#url为从ES导出数据的访问路径，不同的数据路径不一样#post_data为json格式，是request?body。?function?export($url,$post_data){????????$ch?=?curl_init?();????????curl_setopt?(?$ch,?CURLOPT_URL,?$url?);????????curl_setopt?(?$ch,?CURLOPT_CUSTOMREQUEST,POST);????????curl_setopt?(?$ch,?CURLOPT_HEADER,?0?);????????curl_setopt?(?$ch,?CURLOPT_RETURNTRANSFER,?1?);????????curl_setopt?(?$ch,?CURLOPT_POSTFIELDS,?$post_data);????????$arr=curl_exec($ch);????????curl_close($ch);????????return?json_decode($arr,assoc);;}#把数组数据导入ES#两个参数：#$url为导入数据的具体位置?如：http://IP:9200/索引/类型/ID（ID最好根据时间确定，需要唯一ID）?#post_data?导入ES的数据数组function?import($url,$post_data)?{??$json=json_encode($post_data);????$ci?=?curl_init();????curl_setopt($ci,?CURLOPT_PORT,?9200);????curl_setopt($ci,?CURLOPT_TIMEOUT,?2000);????curl_setopt($ci,?CURLOPT_RETURNTRANSFER,?1);????curl_setopt($ci,?CURLOPT_FORBID_REUSE,?0);????curl_setopt($ci,?CURLOPT_CUSTOMREQUEST,?PUT);????curl_setopt($ci,?CURLOPT_URL,?$url);????curl_setopt($ci,?CURLOPT_POSTFIELDS,?$json);????$response?=?curl_exec($ci);????unset($post_data);//销毁数组????????unset($json);//销毁数据????????curl_close($ci);?}??vim access_info.php123456789101112131415161718123456789101112131415161718192021222324252627?phpinclude(class.php);#导出数据的ES路径$url=9:9200/_search;#查询数据的开始时间$begin=date(Y-m-d,strtotime(-16?day));#开始时间的格式转换$start_time=strtotime($beg