天翼云云HBASE数据库冷热存储
文档简介:
大数据存储中一种常见的场景就是冷热数据,冷数据由于其访问频率低的特性,可以存放到价格低磁盘速率慢的存储设备上,热数据由于访问频率高,基于性能的考虑可以存放到磁盘速率快的存储设备上。
HBASE冷热存储
大数据存储中一种常见的场景就是冷热数据,冷数据由于其访问频率低的特性,可以存放到价格低磁盘速率慢的存储设备上,热数据由于访问频率高,基于性能的考虑可以存放到磁盘速率快的存储设备上。在实际使用中,根据数据的热度选择不同的存储设备可以提升集群整体资源的使用效率,同时降低使用成本。
WAL日志热存储
进入索引日志:HBase的Write Ahead Log (WAL)为数据的写入提供了可靠性的保证。每一个业务数据的写入操作(PUT / DELETE)执行前,都会先记录到WAL中。对WAL进行热存储实施,将极大的提升HBASE写入请求响应速度。
用户在购买高性能存储设备后,可以直接选择设置WAL热存储,或是等待监控平台对系统读写能力的分析后,判断是否需要设置WAL热存储。
用户可以在配置管理内进行配置日志存储策略:
点击修改后,对wal存储策略进行修改,见下图
表冷热分离
用户在使用集群建表前或者系统运行中,可以对表的重要度和业务需求进行冷热表划分,
使用频率低的表可以在建表时设置为冷表,使用频率高的表可以在建表时设置为热表。
具体操作步骤如下:
第一步:进入表可视化操作(请先熟悉单表操作优化)
第一步:在表的列族属性选择STOREAGE_POLICY进行设置,见下图。