一种面向云存储的数据副本放置方法与流程

文档序号:11234176阅读:333来源:国知局

本发明涉及云存储技术领域,具体是一种面向云存储的数据副本放置方法。



背景技术:

随着信息技术的不断提升,信息化程度的不断提高,全球数据量呈现出爆炸式增长态势。面对当前对海量数据的存储需求,传统的文件系统在容量和性能的扩展上存在瓶颈。为此,云存储应运而生。

云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,其通过多种云存储技术的融合,将存储设备虚拟化为易扩展、弹性、透明、具有伸缩性的存储资源池,并将存储资源池按需分配给授权用户。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。

分布式文件系统是云存储环境下各种应用的基础平台。副本技术是将一个数据项复制多份分别存放在分布式系统的多个节点上,用以提高系统的可靠性、负载均衡以及访问速率,它是一种最为常用和重要的数据管理机制。然而,副本的引入也带来了存储带宽开销、数据一致性、负载均衡等诸多问题。现有的云存储分布式文件系统中的副本策略通常以负载均衡为目标,很少考虑到放置代价问题,此为现有技术的不足之处。



技术实现要素:

本发明所要解决的技术问题是,针对现有技术的不足,提供一种面向云存储的数据副本放置方法,用于降低数据副本的放置代价。

为解决上述技术问题,本发明提供了一种面向云存储的数据副本放置方法,用于分布式文件系统中数据副本的放置,所述分布式文件系统中数据副本的数量至少为两个,包括步骤:

a、采集分布式文件系统中各数据节点的地址;

b、计算并获取所述分布式文件系统中各数据节点间当前传输数据的数据传输代价;

c、以步骤a中所获取的各地址为顶点、以步骤b中当前所得的各数据传输代价为相应的边权重,建立最小割模型;

d、获取步骤c中所建立的最小割模型的最小割集;

e、获取步骤d中当前所获取的最小割集中所包含的各数据节点,并将其作为所述分布式文件系统中当前用于放置数据副本的数据节点。

其中,上述步骤b中用于计算所述分布式文件系统中各数据节点间当前传输数据的数据传输代价的方法为:

步骤p1、采集所述分布式文件系统中各数据节点间的通信延时时间ti(j),其中i表示发送数据副本的数据节点,j表示接收数据节点i所发送的数据副本的数据节点,i∈n,j∈n;

步骤p2、基于步骤p1中所采集的通信延时时间ti(j),通过以下计算公式①,对应计算上述数据节点j接收上述数据节点i所发送的数据副本的数据传输代价fi(j):

其中,且λmax表示预先设定的该分布式文件系统的延时量化等级的最大值,λmin表示上述预先设定的该分布式文件系统的延时量化等级的最小值,tmax表示步骤p1中所采集的各通信延迟时间中的最大的通信延迟时间、tmin表示步骤p1中所采集的各通信延迟时间中最小的通信延迟时间,其中λmax>λmin、tmax>tmin。

其中,在上述步骤p1中,通过在所述分布式文件系统中各数据节点间发送icmp报文的形式,对应获取所述分布式文件系统中各数据节点间的通信延时时间ti(j)。

与现有技术相比,本发明的优点在于:

(1)本发明基于分布式文件系统中各数据节点间当前传输数据的传输代价,构建最小割模型,并通过获取该建立的最小割模型的最小割集,且基于该获取的最小割集,提供一种多数据块副本的放置策略,这在一定程度上可降低数据块副本的放置代价,实用性强;

(2)本发明还提供了一种用于计算分布式文件系统中数据节点间发送数据副本的数据传输代价fi(j)计算公式,该公式给出了一种计算数据副本的数据传输代价的计算方法,该计算方法简单、实用,且便于实现,较为实用。

由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。

附图说明

图1为本发明所述面向云存储的数据副本放置方法的方法流程图。

具体实施方式

为使本发明的技术方案和优点更加清楚,下面将结合附图,对本发明的技术方案进行清楚、完整地描述。

具体实施方式1:

如图1所示,本发明的一种面向云存储的数据副本放置方法,用于分布式文件系统中数据副本的放置,所述分布式文件系统中数据副本的数量至少为两个,包括步骤:

a、采集分布式文件系统中各数据节点的地址;

b、计算并获取所述分布式文件系统中各数据节点间当前传输数据的数据传输代价;

c、以步骤a中所获取的各地址为顶点、以步骤b中当前所得的各数据传输代价为相应的边权重,建立最小割模型;

d、获取步骤c中所建立的最小割模型的最小割集;

e、获取步骤d中当前所获取的最小割集中所包含的各数据节点,并将其作为所述分布式文件系统中当前用于放置数据副本的数据节点。

其中,在本实施方式中,所述步骤b中用于计算所述分布式文件系统中各数据节点间当前传输数据的数据传输代价的方法为:

步骤p1、采集所述分布式文件系统中各数据节点间的通信延时时间ti(j),其中i表示用于发送数据副本的数据节点,j表示用于接收上述数据节点i所发送的数据副本的数据节点,i∈n,j∈n;

步骤p2、基于步骤p1中所采集的通信延时时间ti(j),通过以下计算公式①,对应计算上述数据节点j接收上述数据节点i所发送的数据副本的数据传输代价fi(j):

其中,且λmax表示预先设定的该分布式文件系统的延时量化等级的最大值,λmin表示上述预先设定的该分布式文件系统的延时量化等级的最小值,tmax表示步骤p1中所采集的各通信延迟时间中的最大的通信延迟时间、tmin表示步骤p1中所采集的各通信延迟时间中最小的通信延迟时间,其中λmax>λmin、tmax>tmin。其中,上述公式①给出了一种计算分布式文件系统中数据节点间数据传输代价的方法,该方法既简单又实用,还便于实现。较为实用。

其中,在上述步骤p1中,通过在所述分布式文件系统中各数据节点间发送icmp报文的形式,对应获取所述分布式文件系统中各数据节点间的通信延时时间ti(j)。

使用时,获取分布式文件系统中各数据节点的地址;并实时采集所述分布式文件系统中各数据节点间的通信延时时间ti(j),之后基于预先设定的该分布式文件系统的延时量化等级中的最大值λmax(即最大延时量化等级)和最小值λmin(即最小延时量化等级)、以及所采集的当前分布式文件系统中各数据节点间的通信延迟时间中的最大的通信延迟时间tmax和最小的通信延迟时间tmin,通过上述数据传输代价fi(j)的计算公式①,对应计算出所述分布式文件系统中各数据节点间传输数据的各数据传输代价;之后以上述所采集的各地址为顶点、以上述当前所得的各数据传输代价为相应的边权重,建立最小割模型;之后计算该最小割模型的最小割集,该计算出的最小割集中所包含的各数据节点即为所述分布式文件系统中当前用于放置数据副本的数据节点。这既确保了数据块信息的完整性,又降低了数据副本的放置代价,实用性强。

以上实施方式仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施方式技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1