摘要:在信息技术飞速发展的今天,云计算平台得到了广阔的发展空间。本文中,笔者立足实践,分析了云计算平台上的数据管理技术,探究了云计算平台上数据管理技术的应用,以期云计算平台的作用能够得到最大的发挥。
信息时代背景下,信息技术、互联网已经被广泛地运用到社会的各个领域,而云计算平台随之产生。元计算平台不仅具有储存数据的功能,还具有计算数据节点的能力,它主要由三部分内容组成,分为为:数据管理、数据存储、分布式计算。在新时期背景下,云计算平台需要具有非常强大的数据存数功能,因此当前云计算平台往往会采用分布式结构化数据存储系统。简单来讲,就是将每一个数据复制成为多个副本,且将每一个副本都放置在分布式系统上。
1数据管理技术
云计算平台上往往会储存大量的数据,并且数据会时时刻刻都发生变化,换言之,云计算平台上,一般都是新的数据替换旧数据的过程,可以称之为一个动态的数据库。云计算平台的数据管理一般会采取“数据领域中储存”的管理模式,具体来讲,就是将表按照列进行划分存储。例如,Bigtable是由Goo#e开发的分布式储存系统,它并没有具有任何全新的技术,而是将之前的技术进行了融合,虽然它具有与数据库有相似之处,但并非真正意义上的数据库。Bigtable数据的模型具体如图1。
通过图1可以发现,Bigtab~中数据的排列顺序是按照关键词的字典顺序进行排列的,同时还对行进行了动态的划分,更能够将记录存放于记录板中。另外,Bigtable中的存储权限控制是由列组粒度中进行的,而列组往往有若干个列组合而成。每一个表示数据不同版本的时间就是一个六十四位的证书。
2数据管理应用
2.1Hadoop分布式文件系统
HDFS一般会采用master/slave架构,它的集群往往是由Namenode、Datanode两部分组成。该系统中,Namenode的主要责任就是文件系统的namespace、客户端对文件的访问,可以说是该系统的中心服务器;Datanode的主要责任就是管理每个节点上附带的储存,而且该系统中每一个节点就会有一个对应的,且存在于集群中。從内部角度来讲,每一个文件都会分为block,可以是一个也可以是多个,但是却都会储存到Datanode的集群中。进行“namespace”操作就是某个block具体到“Datanomde”节点的映射,同时还必须要认清楚Datanode是在namespuce的指导下进行工作的,主要是复制、保存或者删除block。
通过对比BDFS与其他文件系统发现,任何的文件系统,用户都可以穿件数据自己的目录,并根据自己的实际需求进行创建、删除、重命名等操作,但是HDFS既不支持访问权限,也不支持user quoter,更不支持与link进行连接。在具体的操作过程中,Namenode对namespuce具有维护作用,因为无论任何因素影响下,文件系统nam espace的任何操作都会被Namenode一一记录下来,而且特别清晰。另外,在具体的应用过程中,还能够根据实际的需求,设置HDFS保存文件副本的数据。
2.2Mamenode编程
Mamenode是一种计算模型,对于HAdoop来讲,它是核心的计算模型。Mamenode能够将抽象、复杂、大规模的计算转化成为Map、Reduce两种函数,它是一个简单、神奇且威力巨大的模型。运用Mazenode的过程中,该编程中出现的其他复杂问题,往往也都是由Mazenode进行处理,因为这是Mamenode的责任。运用Mazenode模型时,能够减少程序员的工作难度,它往往就是便携一个简单的分布式并行程序,整个过程中程序员的编码工作都是为了实现Map和Reduce函数。
程序框架:
Class MR,
Class Map…{}
ClassReduce…{}
main(){
Job Conf conf=newJob Conf("MR.class");
confset InpmPath("the_path_of_HDFS");
conf.setMapperClass(Map.class);
conf.set Reduce Class(Reduce.class);
Job Client.run Job(conf);
}}
3结束语