筛选: 关于erp论文 科学小论文帮帮忙 心理健康期末考试论文 建筑史论文2000字 小学校长培训结业论文 艾滋病预防论文 航运业务论文 有关企业精神的论文 硕士论文作者简历

【课程论文】浅谈一种面向大数据的图书馆系统架构研究(论文范文)

星级: ★★★★★ 期刊: 优秀作者:李赛寒浏览量:2165 论文级别:高评本章主题:数据和图书馆原创论文: 5156论文网更新时间:10-29审核稿件编辑:Ziv本文版权归属:www.5156chinese.cn 分享次数:2428 评论次数: 1648

导读:数据和图书馆方面的论文怎么写。此篇一种面向大数据的图书馆系统架构研究优秀范文供大学生们写作这类毕业论文参考阅读,希望文章中某毕业论文致谢范文会对你的论文写作能有帮助。

李赛寒

(南京政治学院上海校区图书馆上海200433)

摘要大数据时代的到来改变了传统的IT架构以及数据获取、存储、处理模式,为图书馆建设和发展带来新的机遇与挑战.构建面向大数据的新型系统架构已成为图书馆创新发展的必然趋势.本文结合大数据技术的最新进展,对图书馆现有架构存在的问题进行了较为深入的分析,并在此基础上提出了一种面向大数据的新型图书馆系统架构.

关键词图书馆,系统架构,大数据,云计算

doi:10。3969/j。issn。1674-7933。2016。06。14

0引言

在云计算、物联网等信息技术的推动下,全球已步入“大数据”时代.面对大规模、复杂数据,作为文献信息中心和知识组织机构的图书馆,使用传统的数据管理模式、分

数据专业课程论文如何写
观看次数:2697 点评人数:688

析框架和统计方法已无法适应大数据时代的要求,如何构建面向大数据的新型系统架构来高效地管理和分析数据已成为当前十分重要的研究课题.

1概述

麦肯锡认为,大数据是指其大小超出了常规数据库采集、储存、管理和分析等能力的数据集【1】.当前,图书馆大数据主要包括:用户服务过程中产生的访问和借阅数据,读者意见调查、反馈等交互数据,读者位置、阅读兴趣等行为数据,以及描述数据的元数据和主数据等【2】,体现出海量、多样、高速、高价值等特征.大数据时代,图书馆现有系统架构主要面临以下三个方面的挑战.

1。1数据量指数上升带来的存储与计算能力的挑战

信息技术的发展极大促进了图书馆数字资源的积累.—方面,电子图书、期刊、音视频等海量数字信息已超越纸质文献成为图书馆数据的主体.以清华大学图书馆为例,2008年在使用服务器数量为110台【3】.另—方面,手机、平板等移动设备提供了新的学习体验,RFID技术、Web 2。0和云计算的发展提供了广泛的数据来源,使图书馆数据具备大数据特征.但现有图书馆存储计算能力远远落后于数据量的增长,高效精准的知识服务越来越需要更为合理的分层分级存储架构和数据分析计算能力.

1。2处理非结构化数据面临硬件设施的压力

大数据的“4V”特征,除

本篇浅谈一种面向大数据的图书馆系统架构研究论文范文综合参考评定如下
有关论文范文主题研究:数据方面的毕业论文致谢范文大学生适用:硕士论文
相关参考文献下载数量:688写作解决问题:怎样写毕业论文致谢范文
毕业论文开题报告:如何撰写任务书职称论文适用:撰写职称论文,高级职称评审
所属大学生专业类别:数据方面毕业论文致谢范文论文题目推荐度:优质选题

原创出处:

了海量(Volume),还有类型多样(Variety)的特点.著名大数据专家涂子沛把大数据分为结构化、非结构化数据两大类.目前,全世界的数据大约有75%都是非结构化数据,比如微博、微信等社交数据,这类数据没有规范的结构,处理起来困难较大.对图书馆来说,文档、图片、报表、音视频、XML等非结构化数据蕴含着丰富的信息,学术和文献价值很大,但管理难度也很大,每一项操作都要耗费大量资源,加工成本高,读取效率低.很多知识服务机构由高端服务器转向中低端硬件构成的大规模计算机集群,对支持非结构化数据存储与分析的硬件设施提出了更高要求.

1。3信息服务更加强调智能化

数据不断增长,但大部分数据没有升华为对读者有用的知识.用户面对图书馆的海量数据很难全面准确地检索到所需信息,传统以互联网搜索为基础的信息服务已经不能满足用户需求.大数据时代,图书馆应该从海量不规范、模糊、随机的数据中提取出隐含的、未知的、有价值的知识和信息,把读者对数据的需求从低层次的简单查询提升到挖掘有价值信息和知识的高度.同时,更加强调数据挖掘在数字资源建设、个性化信

一种面向大数据的图书馆系统架构研究
数据和图书馆毕业论文致谢范文

息服务等方面发挥智能分析、评估和预测的作用.既要清楚现在知识服务过程发生了什么,更要通过数据分析预测科研创新和知识合作将要发生什么.

2图书馆现有系统架构存在的问题

目前大数据的存储、处理和分析已成为图书馆面临的重大挑战,现有系统架构已无法满足大规模分布式计算和实时性处理的要求.

2。1现有架构无法适应海量数据的存储和处理要求

目前图书馆的服务器和存储主要部署信息服务类应用.采购时硬件配置很高,但过不了几年就会过时,性能无法满足需求,需要硬件升级或重新购买.每台服务器通常只部署一个应用,—方面性能难以充分发挥.据统计,90%的服务器运行单个应用程序平均利用率不超过20%c4];另—方面只能通过增加服务器数量、升级内存和CPU的方式来解决数字资源种类逐年增加的问题.这样会导致服务器增多、能耗增大、机房空间紧张、电力和空调告急、布线混乱等一系列问题.另外,服务器或存储_旦出现单点故障,则无法提供正常服务,严重的还会导致数据丢失.

目前图书馆用于支撑自身运行和数字资源应用的服务器数量已具有较大的规模.据统计,清华大学图书馆1 996年至2008年间,机房空间、UPS和空调都经历了2—3次改建和扩容,以满足用户快速增长的信息需求【3】.为解决服务器增加带来的设备、运维和人员成本急剧增长的问题,部分图书馆选择将信息服务外包给第三方公司以减少投入,但这种模式也很难大幅度地降低成本,同时服务质量会大打折扣;部分图书馆尝试将多个应用整合到一台服务器上,但不同应用对应不同的功能需求,整合面临太多困难,花费较长时间,而且系统出错概率会大大增加.

2。2现有架构面临数字资源整合的挑战

数据整合是大数据服务的基础.当前,图书馆数据的开放程度较低,“信息孤岛”随处可见,数据整合步履维艰.图书馆虽然引进了很多数字资源,但不同资源的主权归属、数据格式和存储方式各不相同,难以进行资源整合.数字资源购买后只拥有文献检索和下载权限,无法获取数据本身,不能进行跨库检索、数据挖掘等方面的研究.

目前图书馆大多按名称简单罗列数字资源,形成多种维度的导航页,但无法实现更深层次的知识组织和发现.有些图书馆在信息采集上缺乏协调,导致数字资源与纸质文献重复采购.有些馆担心数据权属和信息安全问题,不愿在信息资源共享工程、数据分析平台建设方面投入资金和承担数据共享成本.

面对信息服务“快速、简单、准确”的要求,图书馆未来需加大数字资源的整合力度,通过异构数字资源的融合、聚类和重组来提供智能化的一站式大数据服务.

3面向大数据的图书馆系统架构

3。1架构概述

1)架构的核心思想

借助分层设计思想,本文提出了-一个面向大数据的新型图书馆系统架构,如图1所示,按照功能从上而下划分为4层:服务层、大数据平台层、资源层和基础层.

该架构主要以云计算、物联网、分布式计算等大数据技术为依托,各种类型、来源的数据通过分布式数据存储系统、统一的文件分发系统、高效的分布式索引和数据挖掘模块,为用户提供知识发现与获取、情报分析、个人学习空间、智能信息推送等图书馆大数据服务.

2)架构的层间关系

服务层位于架构的最高层,是图书馆大数据服务的集合,是架构价值的直接体现,它构建在底层提供的资源和环境之上,直接面向用户.大数据平台层是架构的核心部分,介于服务层和资源层之间,承上启下,负责为服务层提供开发、测试和应用等所需的基础服务和管控环境,包括存储访问、资源部署分配、数据分析等.资源层是存放信息资源的实体层,整合了各类数据,包括业务数据、资源数据、管理数据和用户数据.基础层是整个架构的基础,为上面三层提供计算和存储资源支撑,特别是能够通过虚拟化技术将资源池化,实现按需分配和快速部署.

3)架构的创新之处

与传统图书馆架构相比,面向大数据的图书馆系统架构的创新之处在于:①各种资源不再是简单的集合,而是将各种异构资源动态融合成一个有机整体;②架构能够使用户得到“一站式”服务,满足多维的资源需求,实现信息资源的共享;③基于分布式文件系统的可靠大数据存储和高性能并行大数据处理,更加合理、灵活、动态,能够进行快速可靠的数据分析.

3。2架构各层的功能描述

1)基础层

基础层提供计算、存储和网络等硬件资源,具体包括服务器虚拟化技术、云存储技术、RFID技术、刀片基础融合架构、SAN光纤阵列和快速以太网等.传统一个服务器一个应用的模式造成服务器数量的机械增长,刀片架构凭借较高的部署密度、可管理性和更少的线缆大大节省了机房空间和运维费用.服务器虚拟化技术通过把一个物理服务器虚拟成若干独立的逻辑服务器,或把若干分散的物理服务器虚拟成一个大的逻辑服务器实现了资源的合理分配.该层将图书馆各节点能提供闲置存储资源和计算能力的计算机、服务器集群构成“云”,提供云存储和云计算,并通过RFID技术解决物理实体之间的连接,为整合异构资源提供了基础支撑【6】.

2)资源层

传统理解的图书馆数据包括业务数据和资源数据.其中,业务数据是指图书馆在运转过程中产生的“采编流检”数据;资源数据是指图书馆根据本机构学科专业设置规划和配置馆藏,并经过专业规范的揭示与组织后所形成的信息(文献)资源集合,具体包括:纸质和数字资源,及描述和揭示资源的结构化数据(即元数据).

随着数字图书馆发展进程的快速推进,资源数据发生了从实体到在线、从拥有到授权、从馆藏到存取、从用户使用到用户创造的重要变迁.机构知识库、管理数据等也纳入到图书馆建设、管理和服务的视野.此外,在以用户为中心的资源建设与服务理念下,用户数据的价值也日益受到关注.

图书馆数据可梳理归纳为如下4类:业务数据、资源数据、用户数据和管理数据【7】.

3)大数据平台层

大数据平台层的主要任务是对图书馆的海量数据提供分布式的数据分析、编程模型、数据存储和文件存储,从而实现数据的部署、分配、调度、监控等系统管理.

数据分析中的Hive和Pig均可与HBase组合使用,能够简单快速地分析数据.Hive是建立在Hadoop上的数据仓库基础构架,可以通过类SQL语句快速实现简单的MapReduce统计,十分适合数据仓库的统计分析.Pig是另外一个Hadoop数据仓库系统,与类SQL的语言不同,它使用轻量级脚本语言--Pig Latin,能够处理非常庞大的数据集.

编程模型有MapReduce、Yarn、Samza和Storm.MapReduce用于大规模数据集(大于1TB)的并行运算,Yarn是第二代的MapReduce,可以通过统一的资源管理和调度来实现一个Hadoop集群的集群共享、可伸缩性和可靠性.Samza是一个分布式流处理框架,Storm是一个分布式、容错的实时计算系统,二者都可实时或接近实时地处理大数据流.

数据存储,HBase是运行在Hadoop上的NoSQL数据库,它是一个分布式和可扩展的大数据仓库,适合于非结构化数据存储;HCatalog是Hadoop的元数据和数据表的管理系统,允许用户通过Hive、Pig、MapReduce共享数据和元数据;Redis是一个key-value存储系统,主要存储string(字符串)、list(链表)、set(集合)、hash(哈希类型)等value类数据.

文件存储有Hadoop分布式文件系统(HDFS)和关系数据库管理系统(RDBMS)两种方式,二者可结合起来使用,在功能上实现互补,侧重于数据分析和对实时响应要求较低的数据存入HDFS,实时响应要求高的存入RDBMS.

4)服务层

服务层为用户提供了应用服务和交互接口,用户可利用手机、平板等云终端设备访问图书馆提供的各种大数据服务,主要包括统一身份认证、资源管理、知识发现与获取、智能信息推送、情报分析、个人学习空间、虚拟参考咨询等.

3。3架构的主要特征

1)用户导向.以用户需求为导向,随着用户行为需求的变化,及时调整图书馆服务模式和策略;同时,面向用户的资源定制能力增强,图书馆更具个性化服务能力.

2)共享性.架构将各种资源进行整合集成,实现了数据交换,能够为用户提供更好的个性化服务.同时,共享性也将进一步拓宽图书馆的服务范围和领域,为社会、政府、企业提供高水平的知识服务.

3)可拓展性.架构设计思想为模块化,为未来可能出现的新服务留出可用的硬件配置和接口,便于扩展,避免了随着信息技术的迅速发展,而影响到系统性能和图书馆服务的使用.

4)可靠性.架构可进行自主管理,确保了稳定性和可用性,使图书馆服务能够持续运行.同时,存储架构提供较高的系统冗余和安全性,当出现故障后,不会造成数据丢失.

4结论

图书馆对于大数据而言,是开发者、使用者和维护者.面向大数据的图书馆系统架构可以帮助图书馆建立新型知识服务引擎、用户价值分析以及智能服务决策,从而更好地满足用户的个性化需求.因此,构建面向大数据的新型图书馆系统架构势在必行,且前景非常广阔.

[ 参考文献 ]

1、大数据时代下的图书馆移动服务创新研究 陈茫 周力青 吕艳娥 (桂林理工大学图书馆 广西桂林541004) 大数据对传统的图书馆移动服务带来了巨大的挑战,这种挑战是用户、数据、服务模式、检索方式等方方面面的,

2、澳大利亚高校图书馆研究数据管理服务的调查分析(1 武汉大学信息管理学院 湖北武汉 430072)(2 河南理工大学图书馆 河南焦作 454000)文章通过对U S News发布的澳大利亚高校排行榜前19所高校图书馆开展的研究数据管理与共

3、大数据环境下的图书馆竞争情报服务发展对策研究(广东农工商职业技术学院图书馆广东广州510507)大数据时代的到来,为图书馆的竞争情报服务工作既带来了发展机遇,也带来了挑战。国家图书馆、上海图书馆等图书馆已积累了一定的竞争情报服务经验,但总

本篇文章阅读概述:这篇数据和图书馆论文归纳了怎么写毕业论文的开题报告范文和论文标准格式模版规范以及课程数据论文轻松撰写技巧有助于学生们阅读参考提高写作水平。

本篇有关数据和图书馆毕业论文范文免费供大学生阅读参考-点击更多556770篇数据和图书馆相关论文开题报告格式范文模版供阅读下载
延伸阅读: 职校语文教学论文 数学建模论文服务中心 交巡警平台论文 优化模型优秀论文 关于悲剧论文 婚礼对比论文提纲 水利系统论文 英国君主立宪制论文 设计与创新论文 仁与礼的论文
我的大学观论文 护理礼仪论文2000字 上海论文征稿 音乐与审美论文 作家小论文 新 主义革命论文 顺丰快递毕业论文 论文(作品)证明材料 农艺工高级技师论文 关于王国维的论文