筛选: 优秀论文选题 培训管理论文 土地管理毕业论文 森林环境保护论文 资源科学论文 环境与经济论文 企业管理论文大纲 管理论文摘要 农业环境论文 质量管理论文摘要

【远程教育论文】浅议数字图书馆云存储系统的设计与实现(论文范文)

星级: ★★★★★ 期刊: 《河南图书馆学刊》作者:席亚军浏览量:2587 论文级别:推荐本章主题:资源和分布式原创论文: 5156论文网更新时间:12-14审核稿件编辑:Arno本文版权归属:www.5156chinese.cn 分享次数:4681 评论次数: 4829

导读:这是一篇关于数字图书馆云存储系统的设计与实现的论文,对正在写资源和分布式相关论文的毕业生有参考意义。

席亚军

(塔里木大学图书馆,新疆阿拉尔843300)

收稿日期:2015 - 09 - 04

本文系CALlS农学中心研究项目“大数据环境下云存储在高校图书馆数字资源长期保存中的应用研究”的阶段性成果之一,项目编号:2015032.关键词:数字图书馆;云存储系统;分布式系统摘要:文章以图书馆数字资源存储为研究对象,设计了系统主要功能实现的流程,探讨了关键技术,综合采用了网络技术、云存储技术、Hadoop分布式文件系统(HDFS)、HBase技术、Lucene倒排索引技术等,最终以JSP为开发平台,构建了一个以实现数字资源长期有效存储为目的的数字图书馆云存储系统.

中图分类号:G250。 76

文献标识码:A

文章编号:1003 - 1588( 2015) 10 - 0121 - 03

自从Google发布云计算的概念以来,很多公司以及组织对其进行了研究,同时也产生了一大批产品,包括Google的大数据表、MapReduce、谷歌文件系统、ChubbyLock、Windows Azure、雅虎的集群计算系统,以及亚马孙的EC2[1].其中Apache基金会的Hadoop[2]便用最为广泛.使用Hadoop用户可以在完全透明的情况下使用集群,进行读写和计算.做一个免费并且开源的计算框架,国内外使用Hadoop的公司都比较多.雅虎[3]拥有25,000个节点,主要用于支持网页搜索和广告系统,成为全球最大的Ha-doop集群.国内百度、淘宝、网易、华为、中国移动等都是Hadoop集群的使用用户,其中淘宝拥有1,700个服务器节点,属于较大的Hadoop集群.

塔里木大学图书馆作为大量数字资源的拥有者,为了改变现有存储系统的缺陷,以海量数据资源的存储为研究对象,以JSP为开发平台,利用HBase、Lucene、Katta等多种技术,搭建Hadoop集群,开发数字图书馆云存储系统,实现对数字资源的存储形式多样化、安全有效、具有动态可扩展性以及高度共享性的存储.

1 系统设计

1。1 图书馆数字资源存储需求分析

随着数字资

这篇数字图书馆云存储系统的设计与实现论文原创出处:http://www.5156chinese.cn/mbalunwen/9829.html

源以爆炸性增长,图书馆在不断扩大数字资源存储容量的同时,也在考虑如何节约有限的资金投入、高度数据共享,可靠性和安全性等方面的问题[4].

1。1。1 经济适用是图书馆建设存储系统时需要考虑的重要因素.作为资金有限的公用事业单位——图书馆,需要根据自身发展和资金现状选择性价比较高的存储方案,切不可盲目追求投入昂贵,技术先进,却暂时无法应用的设备.

1。1。2 数据高度共享是图书馆存储系统建设的重要条件.图书馆资源数字化是图书馆发展的必然趋势,他有利于提供图书馆资源的使用效率,提高数据的共享性,也有利于资源的保护和利用.

1。1。3安全可靠是数字图书馆服务的保证.为了避免不可抗拒和人为因素对存储系统的损害,要求图书馆在建设存储系统时,必须要有安全的存储备份方案.

1。2系统架构设计

数字图书馆云存储系统以图书馆海量数字资源存储和共享为研究对象,以图书馆——读者为基本模式,从图书馆馆员、管理员和读者的不同角度设计该系统.系统包括数字资源存储模块、数据管理模块和索引检索模块三部分,其系统模块图如图1.从图1可以看出,图书馆员将纸质版图书、期刊、论文、报纸等纸质资源,以及光盘等数字资源,通过传统手段录入到计算机中,形成数字资源.针对电子数据文件大小异构的特点,图书馆员通过数据存储模型,将视频、音频等大数据文件利用HDFS分布式文件系统存放;将图片、文档等较小的文件利用HBase直接存放.管理员利用数据管理模块,对数据文件进行上传,下载和删除等.读者可以在PC机、手机、平板电脑等不同平台,利用系统提供的各种查询方式进行资源检索.

1。3系统部署

本系统硬件节点部署示意图如图2所示,系统分为三层:数据存储层、应用服务层和用户层.数据存储层由若干不同类型的存储节点或者服务节点组成,用于存储图书馆数字资源[5].应用服务层主要由具有不同功能的服务器组成,其中一部分服务器用于运行NameNode、SecondNameNode、Hmaster和JobTracker服务;一部分用于单独运行ZooKeeper服务;一部分用于运行Katta分布式索引检索服务;一部分用于运行DataNode、TaskTracker和HregionServ-er服务[6].用户层中的读者可以通过不同形式的平台使用该存储系统.

2 数据处理流程设计

数字图书馆云存储系统的数据流程示意图如图3所示.系统对外提供图书馆员使用的管理接口和普通读者使

本篇浅议数字图书馆云存储系统的设计与实现论文范文综合参考评定如下
有关论文范文主题研究:资源方面的毕业论文引用格式大学生适用:党校论文
相关参考文献下载数量:826写作解决问题:毕业论文引用格式撰写
毕业论文开题报告:远程教育开题报告答辩职称论文适用:撰写初级职称论文
所属大学生专业类别:资源专业毕业论文引用格式论文题目推荐度:最新题目
用的查询接口.图书馆员借助于图形管理界面,实现数字资源的管理(上传、下载、删除等)操作.数据管理过程中,数据信息通过网络平台在当地计算机和存储集群之间的传递.数字资源按照类别,分别存储于HBase或直接存放于HDFS.读者获得授权后,可以浏览当前数字资源,通过系统利用HBase自身的RowKey索引,进行精确查询、模糊查询和复合查询.

2。1文件上传

数字资源的上传主要是对HDFS分布式系统和HBase数据库的操作.数字图书馆云存储系统根据数据文件大小进行了分类存储,对不

数字图书馆云存储系统的设计与实现
资源和分布式毕业论文引用格式

同数据文件的上传进行了不同设计.图书馆员上传文件之前,先调用HBase数据库,获取TableName表的Scanner,检查该文件是否存在.如果文件已经存在,则提示文件已经存在,是否需要更新.如果文件没有存在,则按照数据文件大小进行分类存储.

2。1。1较小文件上传.较小的数据文件包括文本、图片和网络资源,直接存储在HBase数据库中.文本文件要进行RPC通信,建立倒排索引,监控更新消息,记录对文本表的更新操作.

2。1。2较大文件上传.较大的数据文件包括音频、视频、高清扫描图片等,需要借助分布式文件系统HDFS存储,同时在HBase数据库中有相应的地址映射表.在地址映射表MyData中查重,若存在则更新,否则添加映射关系.

2。2文件下载

文件的下载模块也是根据文件大小采用不同的方式进行下载的.对于相对较小的数据文件直接获取数据库HBase,数据表Infor中的content字段中的内容,而对于相对较大的数据文件需要获取Infor中的content字段中的值后,从分布式系统HDFS中下载文件内容.

2。3索引模块

针对文本文件内容的检索相对比较复杂,本系统通过分布式检索工具Katta,利用分布式倒排索引Lu-cene,将索引进行分片存储加以实现,检索流程图如图4所示.客户端首先向检索服务器群组中的分布式查询服务器发送查询请求,由分布式查询服务器根据检索服务器集群中设备的当前状态将查询任务发送,然后检索服务器将检索结果返回给分布式查询服务器,用户最终得到查询结果,完成查询任务.

3主要关键技术

3。1 Lucene索引结构

传统的索引方式是以文档的ID为关键字,表中记录文档中每个字的位置信息,在查找时,扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档.这种组织方法在建立索引的时候结构比较简单,建立比较方便且易于维护.但是在查询的时候需对所有的文档进行扫描以确保没有遗漏,这样就使得检索时间大大延长,检索效率低下.倒排索引以字或词为关键字进行索引,表中关键字所对应的记录表项记录了出现这个字或词的所有文档,一个表项就是一个字表段,他记录该文档的ID和字符在该文档中出现的位置情况.由于每个字或词对应的文档数量在动态变化,所以倒排表的建立和维护都较为复杂,但在查询的时候由于可以一次得到查询关键字所对应的所有文档,所以效率高.在全文检索中,能够达到检索的快速响应.文档文件不同于其他文件,需要对其全文的内容进行检索.为了提高效率,数字图书馆云存储系统对文档文件的检索采用倒排索引.3。2行列式存储模式

Facebook曾在2% ICDE( IEEE InternationalConference on Data Engineering)会议上介绍了数据仓库Hive[7].Hive存储海量数据在Hadoop系统中,提供了一套类数据库的数据存储和处理机制.他采用类SQL语言对数据进行自动化管理和处理,经过语句解析和转换,最终生成基于Hadoop的MapRe-duce任务,通过执行这些任务完成数据处理‘引.数字图书馆云存储系统中较大文件的上传存储便利用了数据仓库Hive,即借助分布式文件系统HDFS存储,同时在HBase数据库中有相应的地址映射表.在地址映射表MyData中查重,若存在则更新,否则添加映射关系.

4系统实现

数字图书馆云存储系统考虑到多用户性和可扩展性,系统采用C/S的体系结构;云存储系统为了给公众提供一个查询的平台,采用网站形式.整个系统以JSP为开发平台,采用面向对象的开发思想.在编写系统公共类的基础上实现相应功能.

数字图书馆云存储系统采用RedHat EnterpriseLinux5操作系统,使用13台不同型号服务器组建Ha-doop集群,使用Hadoop,HBase,Zookeeper,Lucene,Katta等多种开发工具.该系统已在新疆塔里木大学图书馆应用,满足了图书馆数字资源存储形式多样化、总量迅猛增长、具有动态可扩展性,以及高度共享性的要求,取得了良好的经济效益和社会效益.5结论

笔者利用云存储平台的分布式存储机制,设计云存储环境下的数字图书馆云存储系统.该系统主要是针对图书馆数

优秀资源远程教育论文写作技巧分享
观看次数:3090 点评人数:826

字资源存储过程中产生海量数据进行存储和共享,并针对数字资源存储的特点,进行相应的操作处理.

[ 参考文献 ]

1、红色文化资源在桂林国际旅游胜地建设中的渗透 自2012年11月国家发展改革委批复《桂林国际旅游胜地建设发展规划纲要》以来,桂林发展硕果累累,这在一定程度上为桂林红色文化资源的开发带来了发展机遇。桂林拥有丰富的红色文化资源,但发展情况不尽

2、邹城市旅游资源开发研究 邹城市位于山东省西南部,是我国古代著名思想家、教育家孔子、孟子的诞生地,国家历史文化名城、中国优秀旅游城市、全国综合实力百强县市。本文在分析邹城市的旅游资源现状的基础上,指出了当前开发过程中存在的问题

3、旅游资源与旅游产品的关系辨析  本文从资源的经济价值出发,来界定旅游资源,从产品的需求价值出发,来界定旅游产品,通过分别厘清旅游资源和旅游产品的含义,发现旅游资源与旅游产品存在交集的关系。两者相互重叠的部分即是已被开发利用且具有现实

以上文章阅读总结:通过浏览上面这篇有关资源和分布式方面的毕业论文引用格式后,对学生们在撰写本科和硕士毕业论文研究生以及专科毕业生论文资源相关论文开题报告范文和论文格式以及文献综述模版时会起到帮助。

本篇有关资源和分布式毕业论文范文免费供大学生阅读参考-点击更多245202篇资源和分布式相关论文开题报告格式范文模版供阅读下载
延伸阅读: 管理论文提纲人事管理论文物业管理论文结论土地资源管理硕士论文国土管理论文地质勘查毕业论文毕业论文优秀选题物流管理论文结论土地管理学论文人力资源管理课程论文
关于投资环境的论文 关于文化论文的题目 怎么发论文 关于技术经济学的论文 信息管理系统设计论文 儿子与情人主题论文 城市化论文大学生 系本科论文题目 论文注释排列 如何点评论文