百度智能云Elasticsearch支持配置集群日志采集及日志定期清理，支持的日志类型包括索引慢日志及查询慢日志。
注意：目前仅支持的ES版本为7.4.2+的集群进行配置使用
集群日志配置
- 登录百度智能云Elasticsearch控制台，并点击集群名称，进入集群详情界面。
- 在左侧导航栏，单击日志管理。
- 点击开启日志查看功能开关，并进行日志定期清理配置，目前可配置1~7天的保留时间，集群日志超过保留时间后会被自动清理。
- 完成配置后集群将会收集索引及查询慢日志存储到您的ES集群中，生成前缀为 filebeat-7.4.2-* 的索引。
配置开启慢日志
默认情况，慢日志是关闭的。开启慢日志需要日志记录等级（INFO、WARN、DEBUG 等），定义义具体动作（query、fetch 或 index）以及时间阈值。
举例如下：
- 配置集群慢日志级别为INFO
PUT /_cluster/settings
{
"transient" : {
"logger.index.search.slowlog" : "INFO",
"logger.index.indexing.slowlog" : "INFO"
}
}
- 配置单个index索引慢日志时间阈值
PUT /{index_name}/_settings
{
"index.indexing.slowlog.threshold.index.debug": "10ms",
"index.indexing.slowlog.threshold.index.info": "50ms",
"index.indexing.slowlog.threshold.index.warn": "100ms"
}
- 配置所有日志索引慢日志时间阈值
PUT /_all/_settings
{
"index.indexing.slowlog.threshold.index.debug": "10ms",
"index.indexing.slowlog.threshold.index.info": "50ms",
"index.indexing.slowlog.threshold.index.warn": "100ms"
}
集群日志查询
此处展示通过Kibana查看的方式，您也可以通过连接ES自行查看
登录该集群的Kibana，找到 filebeat-7.4.2-* 索引，这里查看的是索引慢日志
直接通过search api方式查询 例如：查询世界时间范围为 2021-01-06 8点到9点的慢查询日志
GET /filebeat-7.4.2-slowlog-2021.01.06/_search
{
"query": {
"range": {
"@timestamp": {
"gte": "2021-01-06T08:00:00Z",
"lte": "2021-01-06T09:00:00Z"
}
}
}
}
使用仪表盘展示数据
以集群慢查询日志为例，使用Kibana把数据在仪表盘中展示:
创建索引模式Index Patterns
选择@timestamp为Time Filter field，Time Filter将使用此字段按时间筛选数据
使用Discover检索数据
单击侧面导航中的 Discover 进入 Kibana 的数据探索功能：
创建Horizontal Bar（水平条形图）
- 在 New Visualization 页面中选择 Horizontal Bar 选项；
- 选择配置的Index Pattern；
-
如图，可以清楚的看出不同的时间内慢日志条数之间的对比，有助于排查慢查询问题。 例如此处可以清晰的看出查询超时大多集中在 1月7日 0点 之后
制作完成后，用户可以点击页面左上角 Save 然后输入名称 （如图示例my log histogram） 来保存这个图表供以后使用。
更多Kibana使用可参考Kibana官方文档
