免责声明

易百易数码科技

什么是快照更新,一种更快速的网页索引更新方式(es集群的备份方式)

虚拟机快照是什么意思

虚拟机快照是对某一个特定文件系统,在某一个特定时间内的一个具有只读属性的镜像。

意思是当用户需要重复的返回到某一系统状态时,又不想创建多个虚拟机的时候,就可以使用虚拟机快照功能。

什么是快照更新,一种更快速的网页索引更新方式(es集群的备份方式)-图1

虚拟机快照原理:

对虚拟机打快照,其本质是记录虚拟机在某个时间点的磁盘数据,以KVM为例,KVM中虚拟机磁盘采用的是qCow2格式的镜像文件,虚拟机拥有几个磁盘就会有几个qCow2文件;

所以,记录虚拟机在某个时间点的磁盘数据就是对qCow2镜像文件打快照。

什么是快照更新,一种更快速的网页索引更新方式(es集群的备份方式)-图2

虚拟机快照产生的数据是与虚拟机磁盘数据存放在同一个qCow2镜像文件中的,所以存储位置就是虚拟机本身的存储位置,即如果虚拟机所在存储访问不了,其快照也就无法恢复了。

qCow2快照采用的是“写时复制”的技术,实现原理比较简单,快照时复制一份原磁盘的索引,指向的实际数据均为原始磁盘的数据。

只有当原镜像的的数据发生变化时,才将变化区域的在变化之前的数据复制一份给快照对应位置。

什么是快照更新,一种更快速的网页索引更新方式(es集群的备份方式)-图3

所以打快照的时候数据比较小,后面会越来越大。

es集群的备份方式

在ES 7.0之后,官方提供了冷存储备份方式,这种方式可以备份集群中的数据,并且备份数据可以离线存储。冷存储的备份方式分为两种:冷存储索引备份和冷存储数据文件备份。

冷存储索引备份:

1. 在ES集群中的任意一个节点上执行`fs.lsr`命令,该命令用于列出索引文件夹路径。

2. 使用ES提供`el把我对我有index名称到repository的es_get_repository`的RESTful API。该API接受一个JSON格式的参数,其中包含repository名称和索引名称。

3. 使用`fs.cp`命令将备份文件从ES集群复制到本地磁盘。

冷存储数据文件备份:

Es集群有多种备份方式,以下是几种常见的备份方式:
1. 快照备份(Snapshot Backup):通过创建快照来备份整个集群的数据。在创建快照时,Elasticsearch将当前索引的数据和元数据信息保存到磁盘上的快照存储位置。快照备份需要使用专门的快照仓库来存储快照数据,可以选择本地文件系统、共享文件系统或云存储等作为快照仓库。
2. 增量备份(Incremental Backup):增量备份是基于快照备份实现的备份方式。首先,创建一个完全备份(快照),然后,对于每次备份,只备份自上次备份以来的变更(增量部分)。增量备份可以减少备份所需的存储空间和备份时间。通过定期执行增量备份,可以保持数据的完全恢复性。
3. 事务日志备份(Transaction Log Backup):Elasticsearch对于每个分片都有一个事务日志(translog),用于记录分片中的写操作。事务日志备份方式是将这些事务日志备份到磁盘上的持久化存储介质中。事务日志备份可以保证在数据丢失时可以恢复丢失的数据,同时可以提高数据恢复的速度。
4. 全量复制备份(Full Replication Backup):通过将另一个完全相同的集群作为备份集群,实现数据的全量复制备份。可以通过Elasticsearch的集群间复制功能(cross-cluster replication)来实现数据的实时同步。全量复制备份可以提供一个完全独立的集群作为备份,可以在主集群发生故障时快速切换到备份集群。
根据具体的需求和环境,可以选择一种或多种备份方式来保护Es集群的数据安全。

到此,以上就是小编对于快照更新是什么意思的问题就介绍到这了,希望介绍的2点解答对大家有用,有任何问题和不懂的,欢迎各位老师在评论区讨论,给我留言。

分享:
扫描分享到社交APP
上一篇
下一篇