一、索引技术在提高SQL Server性能中的应用(论文文献综述)
蒋叶林[1](2021)在《基于HBase数据库的时空大数据存储与索引研究》文中研究表明随着互联网、PC技术、传感器技术的不断发展与普及,越来越多的高水平技术和多领域的应用都会涉及地理信息数据,例如数字城市,智慧城市,地图导航等。在信息化世界呈现多元化的同时,随着用户的需求以及对数据的精准性的追求不断变高,数据量也呈显出大幅度增加,所以如何高效的组织和管理海量空间数据是十分重要的问题。随着云计算技术的诞生,使得对海量数据的快速存储与高效计算得以实现。本研究重点研究了基于不同预区下使用Spark技术框架进行分布式存储,以及在Hilbert曲线编码的原有基础上进行了改进,提出了一种多层级自适应的Hilbert曲线编码。并对该方式存储在Hbase数据库中的数据建立二级索引表对数据进行检索。研究具体如下:(1)本文首先对研究背景、现状和研究依据做了详细的阐述,并对本文研究的相关技术与理论做了详细的介绍。在此基础上详细地分析了本研究对海量数据存储以及索引的可行性,并为后续研究提供了必要的理论与技术支持。(2)在大数据整体架构的特点上,结合时空数据的聚集性的特点,分析了常见的数据划分曲线的优劣性,在此详细阐述下,本文的创新之处在于对基于Hilbert曲线传统编码的方式进行了改进,设计了一种各层级自适应的Hilbert编码方式包括分级码与排序码,并结合这种编码方式以及时空数据的特性,在对Hbase数据库Rowkey设计以及列族与预分区的设计基础上,分别比较在单个预分区下2W、20W、100W、500W、1000W、1500W、2000W数据量的存储效率与在10、51(根据官方提供的公式计算)、100个预分区情况下对10W、100W、500W、1000W数据量下存储的效率是否呈一定的规律且检测是否官方提供的公式计算的预分区为最佳预分区数。实验表明:在相同数据量下,并不是预分区数越多则存储效率越高,没有呈现一定的规律,且根据官方提供的预分区公式计算并不是最佳预分区数。(3)最后,本文采用了具有100W数据量的数据库来作为查询的根据Hbase的特点,结合了Phoenix来对时空数据进行二级索引表的建立,并实现对数据属性的查询,并比较了有无索引表对数据查询的效率。实验表明,有索引表的检索效率明显高于无索引表的检索效率。而对于时空范围的查询,本文是基于底层的Filter的过滤器与Spark技术框架相结合来做的精确的时空范围查询和建立索引表的时空范围查询以及Geo Mesa系统作比较,证明本文关键技术研究的可行性和有效性。实验表明,该Hilbert曲线编码改进算法与基于索引表的时空范围查询算法结合的查询效率较Geomesa在本实验中提高了约16%-26%,较无索引表的算法的查询效率提高了约45-240倍。
李一丹[2](2020)在《面向微博的用户关系网络挖掘系统的研究与实现》文中研究表明随着互联网的迅猛发展,社交网络成为人们生活中越来越密不可分的一部分。以新浪微博为代表的社交媒体平台,已逐渐成为人们发表观点、表达思想的重要平台。人们在微博平台中发表内容以及相互关注、点赞、评论和转发的网络行为,刻画了人们在社交媒体中的用户关系网络。因此,用户社团关系网络挖掘,对微博网络管理具有重要意义。本文研究并实现了 一个基于微博用户之间行为特征和内容特征进行社团关系挖掘的系统。相关研究工作如下:1.构建分布式爬虫系统,爬取微博平台中所有用户信息,其中包括个人信息、微博文本、微博点赞、评论和转发以及用户关注和粉丝等结构化和非结构化数据。通过设计合理的数据库表结构,将海量用户数据整理聚合到HBase中。2.基于微博网络中用户发表内容和用户间的交互行为,提出基于深度自编码器的多维度用户关系网络挖掘模型,解决传统社团挖掘模型中仅对使用单一“关注”关系构建的用户关系网络进行社团挖掘问题。其中,在内容维度特征提取中,本文采用基于注意力机制的卷积神经网络CNN模型,解决微博文本篇幅短小等问题,同时从“关注”、“点赞”、“评论”、“转发”四个动作中,对行为维度特征矩阵进行构建。3.基于本文提出的社团挖掘模型,系统采用离线计算和在线计算分离模式,将离线计算定时对采集的用户信息进行社团挖掘,在线计算响应用户请求,快速查询社团挖掘结果,并进行社团内部结构分析后将结果返回至前端系统,前端系统进行可视化展示。为保证在线计算响应时间,本文采用基于MapReduce的用户属性倒排索引+Solr-HBase二级索引结合方式,加快数据检索速度,并采用数据缓存、负载均衡和故障切换技术手段,保证在线计算提供可靠服务。
付茜雯[3](2020)在《计算机科技论文摘要的机翻错误类型及译后编辑》文中研究表明科研论文在知识传播过程中作用重大,推动国际范围内的知识共享。摘要是科研论文中必不可少的一部分,既是对论文的概括性总结,也是读者发现和探寻相关领域知识的快捷途径。然而,目前英文摘要的机器翻译质量在精确性和专业性方面都不尽人意,需要通过后期编辑和人工校对才能产出高质量的中文翻译文本。本文以计算机科学论文摘要为例,对谷歌机器翻译的300篇计算机英文论文摘要的中文版本进行了翻译错误类型分析并归类,并提出相应的译后编辑策略。首先在赖斯文本类型理论翻译策略指导下,对机器翻译系统生成的译文进行译后编辑,再邀请计算机专业以及翻译专业的专业人士进行确认。之后以DQF-MQM错误类型分类框架为依据,对机器翻译系统生成的译文中的错误进行分类。研究发现,机器翻译的计算机英文论文摘要的中文版本中存在七大类翻译错误,其中不符合中文表达习惯的翻译错误占比最大,其次是术语误译、误译、欠译、漏译、过译以及赘译。本论文研究发现,由于源文本的信息型学术文本特征,长难句、被动语态以及术语翻译是造成机器翻译错误的主要原因。针对源文本的逻辑缜密、语步序固定等特征,本研究针对性地对各类错误类型提出了相应译后编辑策略。建议译者在译后编辑中通过将隐性连接转换为显性连接从而保持源文逻辑性,通过增加主语以及调整语序处理被动语态保持源文的学术精准,通过恰当选取词意处理半技术词汇等。本研究采用定性和定量分析方法,系统归类了计算机科技文本摘要中机器翻译出现的错误,并提出相应译后编辑策略,为该领域的译者提供参考建议,从而提高该领域的机器翻译质量。
谢地[4](2020)在《基于HBase的海量图片存储与快速检索技术研究》文中提出Web2.0时代的到来使得越来越多的图片需要被存储到数据库中,海量的图片信息、非结构化的数据结构、频繁的读写操作都为数据存储提供了难度。如何高效的存储海量图片数据是一个值得关注的话题,大数据的出现为我们解决海量图片存储提供了新的思路。论文针对人脸海量图片的特点和存储需求以及对分布式存储框架的对比,提出了基于HBase的海量图片解决方案,并采用了Master/Slaver分布式存储结构。为了提高图片数据的可靠性,构建HA高可用架构提高系统的可靠性和容错性。在图片存储方面,为了提高海量图片的插入效率,针对不同的图片来源设计不同的表和入库方式。针对其中的大规模人脸抓拍数据以及非结构化的人物信息设计了分布式存储主键,成功的解决HBase在高并发情况数据不平衡的问题,提高了region各区域的负载均衡。由于人脸图片是小文件类型,过多会影响集群的存取效率,因此本文在Hadoop中现有的解决方案上进行优化,提出一种新的解决方案,首先提取人脸图片中的特征值,再利用k-means算法将相似度高的图片小文件合并到大文件中,提高Hadoop中block块的利用率。在文本检索方面,由于HBase缺乏二级索引,多条件查询效率低。为了弥补这方面的缺陷,本文提出一种新的解决思路,利用协处理器将Elasticsearch工具与HBase结合构建联合索引,提高HBase的检索效率。在相似图片搜索上,利用LSH算法将相似度高的图片数据映射到相同的桶结构中。最后,构建分布式集群从集群时空开销、检索效率等方面对优化方案进行测试。实验表明,在插入图片的数量一致时,通过小文件合并方案能降低集群内存的消耗,提高图片的写入速度。对rowkey的优化提高了Region的负载均衡,建立联合索引在牺牲一定的集群空间上大幅增加了数据的检索效率。
江穹峰[5](2019)在《面向河湖空间大数据的混合架构存储与检索系统研究及应用》文中提出河湖管理与保护是促进人与自然和谐共生、加快推进生态文明建设的有效措施。近年来,随着卫星遥感、物联网、智能传感监测等技术的不断发展,河湖空间数据体量呈爆炸式增长,且其数据类型多样、格式繁杂、结构复杂、时间空间交错。河湖空间大数据的有效存储、管理和检索面临巨大的挑战,同时对数据并发访问支持能力和安全可靠性也提出更高要求。进一步,国家关于河湖管理保护工程已上升至国家战略层面,长江大保护、河湖长制均涉及流域河湖空间管控。因此,亟需开展河湖空间大数据智慧管控研究。本文以河湖空间大数据存储与检索为突破点,开发面向河湖空间大数据的混合架构存储与检索系统,解决了海量多源异构数据的高效存储与检索、并发访问支持等问题。建立多源异构数据统一接口规范,实现有序共享、适度开放、安全可靠的河湖空间大数据共享新机制。在推进长江大保护、推动河湖长制全面见效、实现河湖精细化管理方面,具有重大理论研究价值和工程应用价值。论文的主要研究内容及创新性成果如下:(1)在结构化数据存储方面,结合水利及地理信息相关国家及行业技术规范,采用“一数一库”的模式对现有涉水管理系统进行迁移集成,避免观测数据的重复采集和存储,提高数据一致性,便于各个子系统之间数据共享;(2)融合HBase和MongoDB实现栅格影像数据存储与检索,基于HBase的瓦片金字塔存储,实现数据快速可视化展示与查询;基于MongoDB文档模式的元数据模型,简化元数据描述;同时结合Elasticsearch搜索引擎建立元数据全文索引,提供精确匹配、模糊查找、范围查询等多种检索方式;(3)建立基于GeoJSON和MongoDB的空间矢量要素存储模型,构建空间索引、设计辅助索引来加速数据查询、筛选和过滤;设计分片复制集群环境下的分片策略,均衡数据分布与查询效率之间的矛盾;(4)针对河湖空间海量数据管控需求,构建基于大数据技术的混合架构系统,实现河湖空间多源异构数据的管控,提供统一的数据传输与检索接口,加强数据之间的互联互通;同时,提供系统并发访问的支持,保证数据的安全可靠性。
郐洪楠[6](2018)在《土地确权登记报送系统的数据库性能调优方案研究与实现》文中研究表明数据库性能调优是整个软件生命周期内都需要考虑的问题,数据库系统在长期运行过程中出现性能瓶颈问题也是软件开发人员急需解决的问题。本文结合开发和维护土地确权登记报送系统中遇到的性能瓶颈问题,以数据库调优理论为基础,分别通过调优数据库逻辑设计、调优索引、调优SQL语句、使用缓存技术、升级硬件配置等方式对土地确权登记报送系统进行了分层优化的研究和实践,完成了首次对土地确权登记报送系统进行数据库性能调优,并通过反复调优和测试找到适合本系统的调优方案,使得在系统级别达到较好的性能。首先,介绍了土地确权登记报送系统数据库性能调优理论的研究背景、研究意义、国内外对于性能调优的理论研究和常用的调优工具,并简要介绍对系统进行性能调优的主要研究方法和内容。其次,给出本论文采用的数据库性能调优的理论方案。首先分析SQL Server内核的工作原理、内存管理和存储方式,为后文对SQL Server的优化研究奠定理论基础。之后研究了数据库性能的指标,为测试调优后性能提升提供衡量标准。最后,总结出适用于土地确权登记报送系统特点的性能调优技术路线,对于性能调优采取分层调整的技术路线,确定从应用程序、数据库设置、操作系统、硬件配置进行全方位、分步实施的技术路线,并对每层需要做出的调优工作进行详尽的理论方法研究。再次,将对数据库性能调优的理论内容应用于实践,在实践中检验理论的正确性。结合土地确权登记报送系统的业务背景和系统架构,开发适合监控本系统数据库操作性能的拦截器工具,有利于收集应用程序层性能调优所需的各项系统数据。按照数据库性能的调优方案对土地确权登记报送系统的各个层次均进行了所有可以人为优化的方面。通过反复的调优实践,成功对土地确权登记报送系统完成了性能调优工作。之后,介绍常用的性能监测工具以及工具中需要重点观察系统中各项性能时对应的指标,测试并对比土地确权登记报送系统调优前后性能指标的表现,证实性能调优方案对土地确权登记报送系统性能的大幅度提升。最后,总结了本篇论文的工作内容,针对本论文对土地确权登记报送系统数据库性能调优中未来可能需要做的调优工作进行了展望。
丁楠[7](2017)在《传统数据库业务迁移到虚拟化环境中的性能优化与应用研究》文中进行了进一步梳理经过多年的发展,虚拟化技术在计算、存储、网络以及管理上已经日趋成熟,并广泛应用到各个领域的企业信息化建设中。但是在政府、企业、高校等组织机构进行业务虚拟化的过程中,却较少有针对性的性能优化操作,降低了虚拟化后的业务性能。针对传统数据库迁移问题,本文设计了一套关键业务迁移方案,使企业关键业务在虚拟化的过程中不发生业务中断。本文在深入研究当今主流虚拟化技术的基础上,在ESXi虚拟化环境中以SQL Server数据库为例,考虑企业关键业务虚拟机在虚拟化后遇到的实际性能问题,提出了一种可行的性能优化应用方案,通过配置虚拟NUMA、超线程架构负载均衡、虚拟SMP等策略提高虚拟机调用物理CPU资源的执行效率;通过配置管理程序内存交换、虚拟机内存分配等策略以避免内存过载导致的性能下降;通过分散虚拟机存储的读写负载,配置vFRC等技术以优化存储性能;通过协同定位虚拟机网络通信关系、更换虚拟网卡、更改虚拟网络交换机冗余策略等方法避免网络瓶颈导致的通信阻塞问题等。本文采用业界主流数据库基准性能测试工具,对虚拟机迁移前后、性能优化前后进行基准性能测试,通过实际的测试数据验证了本文研究工作的可行性和有效性,表明本文解决方案具有应用价值。
徐小亚,李君芳[8](2017)在《数据库设计对SQL Server数据库性能优化分析》文中提出数据库系统是整个管理信息系统的基础与核心,其作用是将大量数据按照一定的规则组织在一起,方便准确,及时提供给用户使用。设计数据库看似简单,但是要实现数据库性能的最优化则非常困难,在数据库设计、应用程序结构、开发工具、接口选择及查询设计等方面都可优化。总体而言,提高数据库性能的方法有很多,其中改进数据库设计是有效的方法。影响SQL Server数据库性能优化的因素非常多,包含主观人为因素及客观因素等,其中数据库设计就是影响因素之一。笔者基于SQL Server数据库的结构特点,对数据库设计对SQL Server数据库性能优化的影响进行分析,主要从数据库逻辑、物理及事务日志文件等方面的设计进行分析,并尝试给出提升SQL Server数据库性能的设计策略。
刘浩东[9](2016)在《水利技术标准信息系统研究开发》文中认为为满足水利科技工作者与管理人员对水利技术标准规范查询与管理的需要,解决水利技术标准规范查询不便、数字化和结构化程度较低的问题,作者进行了水利技术标准信息系统的研究开发。在研究开发过程中,提出了水利标准信息系统的四层体系结构、基于Web与因特网的分布式网络支撑结构、基于PDF的水利技术标准文档格式、基于文件与关系数据库结合的索引方法。应用UML方法进行了系统分析与设计,设计了系统的用例图、顺序图、包图、类图,研究了系统各模块的实现算法。在Windows Server 2012、Visual Studio 2012、SQlServer2012环境下,应用C#语言编码,实现了水利技术标准信息系统。该系统的主要功能包括:标准规范收集、标准规范格式转换、标准索引建立、标准规范存储、标准规范查询、标准规范浏览、标准规范打印、标准规范维护、用户管理、系统管理等。本系统已于2015年通过陕西省水利学会验收,并实际部署运行,为水利科技工作者与管理人员利用水利技术标准规范提供了有力的工具。
马元龙[10](2016)在《基于Arc SDE和SQL Server空间数据库的设计与优化方法研究》文中研究指明随着地理信息系统的应用越来越普遍,对空间数据库的设计和响应速率的要求也越来也高。地理信息系统的开发少不了空间数据库的支持,目前空间数据库的设计与建设主要是以Arc SDE与Oracle、SQL Server等相结合创建一个综合性空间数据库,由于空间数据多时空性、多尺度与多态性等独有的特性,决定了空间数据具有复杂性及海量性特点,使得空间数据库的响应速率比较低。空间数据库的设计与性能优化技术,已经成为当今学者研究的一个重要课题。本课题是以“安徽省大别山低丘缓坡地空间数据库”为研究对象,通过GIS技术把数学模型与空间数据动态关联起来,建立支撑“安徽省大别山低丘缓坡地土地评价和综合利用模式研究”项目的空间数据库。空间数据库的建立有利于巩固和提升大别山地区低丘缓坡地土地利用的效率,对大别山地区的经济发展与生态保护等有着重要的意义。本文重点提出采用空间聚类CLIQUE算法与R-树结合建立空间数据索引结构的方法,对空间数据进行索引优化,达到提高空间数据库的响应速率的目的。本文主要研究了以下内容:(1)详细概述了GIS在国内外的发展现状和空间数据库优化方法的研究现状。(2)讨论了空间数据库设计的基本理论和“安徽省大别山低丘缓坡地空间数据库”的实现方法,涵盖了数据库的设计原则、概念设计、逻辑设计、物理设计及空间数据库的创建过程、属性数据和空间数据的存储方法等。(3)总结了基于空间数据库引擎Arc SDE与关系型数据库SQL Server结合建立的空间数据库的优化方法,包括:Arc SDE的优化方式,SQL Server数据库的优化方式,空间地图数据的优化方式,空间数据索引优化方式,空间聚类优化方式等。(4)本文对空间聚类CLIQUE算法和R-树索引的思想以及实现方法做了重点研究,并且在研究的基础上,提出采用空间聚类CLIQUE算法与R-树结合建立空间数据索引结构的方法,同时描述了空间聚类CLIQUE算法与R-树结合创建空间数据索引结构的设计思想以及实现方法,对空间地图数据进行索引优化。依托开发的地理信息系统对索引方式进行验证,通过对实验结果的分析与对比,采用空间聚类CLIQUE算法与R-树结合对空间数据建设索引的优化方式,比仅建R-树索引的优化方式,空间数据库的响应速率提高了8.64%。将该索引方式应用在“安徽省大别山低丘缓坡地空间数据库”中,其效果与实验所得的结果一致,并且系统和空间数据库运行都较为稳定。
二、索引技术在提高SQL Server性能中的应用(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、索引技术在提高SQL Server性能中的应用(论文提纲范文)
(1)基于HBase数据库的时空大数据存储与索引研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.1.1 研究背景与意义 |
1.1.2 研究项目依据 |
1.2 国内外研究现状 |
1.2.1 时空数据存储模式研究现状 |
1.2.2 时空大数据的索引研究现状 |
1.3 研究内容及技术路线 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.4 论文组织结构 |
1.5 本章小结 |
第二章 相关理论与技术介绍 |
2.1 相关技术概述 |
2.1.1 Hadoop生态圈 |
2.1.2 非关系性数据库 |
2.1.3 CDH环境 |
2.2 时空数据存储与技术概述 |
2.2.1 时空数据的存储模型概述 |
2.2.2 时空数据的存储技术概述 |
2.2.3 并行存储技术框架概述 |
2.3 索引概述 |
2.3.1 时空索引概述 |
2.3.2 索引方式及原理 |
2.4 本章小结 |
第三章 基于Hbase的时空大数据的存储 |
3.1 数据转换 |
3.2 地理时空数据数据存储模型设计 |
3.2.1 Rowkey的设计 |
3.2.2 列族的设计 |
3.2.3 预分区的设计 |
3.3 地理时空数据存储技术设计 |
3.4 本章小结 |
第四章 基于Hbase的索引管理 |
4.1 基于Hbase索引表原理与设计 |
4.1.1 时空索引设计原理 |
4.1.2 基于属性查询的索引表的设计 |
4.1.3 基于空间范围查询的索引表设计 |
4.2 时空查询方法 |
4.2.1 基于属性的查询方法 |
4.2.2 基于时空范围的查询算法 |
4.3 本章小结 |
第五章 系统原型设计 |
5.1 系统环境要求 |
5.1.1 实验环境 |
5.1.2 实验数据 |
5.1.3 实验环境运行环境 |
5.2 实验结果及分析 |
5.2.1 基于不同预分区的Spark技术框架的存储效率对比分析 |
5.2.2 有无索引表的查询效率比较 |
5.2.3 基于时空范围查询的效率比较 |
5.3 本章小结 |
第六章 结论及展望 |
6.1 结论 |
6.2 未来工作展望 |
致谢 |
参考文献 |
附录 A |
一、攻读硕士学位期间发表的论文 |
二、攻读硕士学位期间所获荣誉 |
三、攻读硕士学位期间参与的科研及工程项目 |
(2)面向微博的用户关系网络挖掘系统的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.3 论文结构 |
1.4 本章小结 |
第二章 相关技术及理论研究 |
2.1 大数据相关技术 |
2.1.1 Hadoop平台 |
2.1.2 实时计算 |
2.1.3 任务调度器 |
2.1.4 分布式任务队列 |
2.1.5 分布式搜索引擎 |
2.2 社团挖掘相关理论 |
2.2.1 传统社团挖掘方法 |
2.2.2 基于深度学习的社团挖掘方法 |
2.2.3 社区结构评价指标 |
2.3 神经网络 |
2.3.1 CNN卷积神经网络 |
2.3.2 深度自编码器 |
2.4 本章小结 |
第三章 面向微博的用户关系网络挖掘系统的需求分析 |
3.1 系统需求概述 |
3.2 功能性需求 |
3.2.1 系统管理员功能性需求 |
3.2.2 数据采集管理员功能性需求 |
3.2.3 游客用户功能性需求 |
3.2.4 会员用户功能性需求 |
3.3 非功能性需求 |
3.3.1 系统可靠性 |
3.3.2 系统响应时间 |
3.3.3 数据采集性能 |
3.3.4 数据查询性能 |
3.3.5 系统安全性 |
3.4 本章小结 |
第四章 面向微博的用户关系网络挖掘系统的设计 |
4.1 系统总体设计 |
4.1.1 系统架构 |
4.1.2 交互流程 |
4.2 业务层设计 |
4.3 数据计算层设计 |
4.3.1 在线服务模块设计 |
4.3.2 离线计算模块设计 |
4.4 数据采集层设计 |
4.6.1 数据爬取 |
4.6.2 数据传输 |
4.5 数据层设计 |
4.5.1 离线数据模块数据库设计 |
4.5.2 数据采集模块数据库设计 |
4.6 非功能性系统设计 |
4.7 本章小结 |
第五章 基于深度自编码器的多维度用户关系网络挖掘模型 |
5.1 相关方法和问题描述 |
5.2 符号定义 |
5.3 MNP-DAE模型 |
5.3.1 模型总述 |
5.3.2 用户特征矩阵构建 |
5.3.3 特征提取 |
5.3.4 特征聚类 |
5.4 基于内容维度的特征提取 |
5.4.1 数据预处理 |
5.4.2 wRTT-CNN模型 |
5.5 基于行为维度的特征提取 |
5.6 实验结果和分析 |
5.7 本章小结 |
第六章 面向微博的用户关系网络挖掘系统的实现 |
6.1 业务层实现 |
6.1.1 权限认证 |
6.1.2 业务调用 |
6.2 数据计算层实现 |
6.2.1 在线服务模块实现 |
6.2.2 离线计算模块实现 |
6.3 数据采集层实现 |
6.3.1 数据爬取 |
6.3.2 数据传输 |
6.4 非功能性系统实现 |
6.5 本章小节 |
第七章 面向微博的用户关系网络挖掘系统的测试 |
7.1 测试目标 |
7.2 测试环境 |
7.3 测试用例与分析 |
7.3.1 功能性测试 |
7.3.2 非功能性测试 |
7.4 本章小结 |
第八章 结束语 |
8.1 论文总结 |
8.2 下一步展望 |
参考文献 |
致谢 |
(3)计算机科技论文摘要的机翻错误类型及译后编辑(论文提纲范文)
摘要 |
Abstract |
CHAPTER1 INTRODUCTION |
1.1 Research Background and Significance |
1.2 Aims of the Study |
1.3 Organization of the Thesis |
CHAPTER2 LITERATURE REVIEW AND FRAMEWORK |
2.1 Overview on Machine Translation and Post-editing |
2.2 Previous Studies on MT Error Types and Post-Editing Strategies |
2.3 DQF-MQM Error Classification Framework |
2.4 Previous Studies on MT Error Types of Paper Abstracts |
2.5 Text Typology Theory |
2.5.1 Text Typology Theory of Reiss |
2.5.2 Previous Studies on Informative Texts and Translation Principles |
CHAPTER3 METHODOLOGY |
3.1 Source Text and Text Analysis |
3.1.1 Source Text |
3.1.2 Text Analysis |
3.2 Research Method |
3.3 Translation Process |
3.3.1 Translating300 computer science abstracts with MT system |
3.3.2 Post-editing the MT-generated translation based on Text Typology Theory |
3.3.3 Conducting a semi-structured interview for ensuring post-editing quality |
3.3.4 Analyzing and summarizing the errors in300 abstracts |
3.3.5 Preliminary error classifications based on DQF-MQM Framework |
3.3.6 Conducting the2nd semi-structured interview to confirm error classifications |
3.3.7 Quantitative analysis of all MT errors in the300 abstracts |
CHAPTER4 RESULTS AND DISCUSSION |
4.1 Error Types of Machine Translated English Abstracts |
4.1.1 Unidiomatic Translation Errors in MT output |
4.1.2 Terminology Mistranslation Errors in MT Output |
4.1.3 Mistranslation Errors in MT Output |
4.1.4 Under-translation Errors in MT Output |
4.1.5 Omission Translation Errors in MT Output |
4.1.6 Over-translation Errors in MT Output |
4.1.7 Errors of Addition in MT Output |
4.2 Post-editing Strategies for Machine Translated Abstracts |
4.2.1 Post-editing Strategies for Long and Complex Sentences |
4.2.2 Post-editing Strategies for Passive Voice Sentences |
4.2.3 Post-editing Strategies for Technical Terms |
CHAPTER5 CONCLUSION |
5.1 Major Findings |
5.2 Limitations and Suggestions |
References |
Appendix Source Texts and Target Texts of300 Abstracts |
1-20 Abstracts |
21-40 Abstracts |
41-60 Abstracts |
61-80 Abstracts |
81-100 Abstracts |
101-120 Abstracts |
121-140 Abstracts |
141-160 Abstracts |
161-180 Abstracts |
181-200 Abstracts |
201-220 Abstracts |
221-240 Abstracts |
241-260 Abstracts |
261-280 Abstracts |
281-300 Abstracts |
ACKNOWLEDGEMENTS |
(4)基于HBase的海量图片存储与快速检索技术研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究的背景及意义 |
1.2 国内外研究现状 |
1.3 论文组织结构 |
第二章 基础环境与算法 |
2.1 相关技术与工具 |
2.2 关键算法 |
2.3 拟解决的问题 |
第三章 海量图片存储与检索优化 |
3.1 高效存储与快速检索难点分析 |
3.2 高效存储与快速检索的架构设计方案 |
3.3 海量图片存储优化 |
3.4 海量图片检索优化 |
第四章 实验与分析 |
4.1 实验环境 |
4.2 实验结果与分析 |
第五章 总结与展望 |
5.1 总结 |
5.2 展望 |
致谢 |
参考文献 |
个人简介 |
(5)面向河湖空间大数据的混合架构存储与检索系统研究及应用(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 论文研究背景与意义 |
1.2 国内外研究现状 |
1.3 论文研究内容和章节安排 |
2 河湖空间数据对象分析 |
2.1 数据对象概述 |
2.2 河湖空间数据分类 |
2.3 结构化数据 |
2.4 非结构化数据 |
2.5 本章小结 |
3 河湖空间大数据存储与检索策略研究 |
3.1 河湖空间数据管理策略研究 |
3.2 河湖空间结构化数据存储 |
3.3 河湖空间非结构化数据模型 |
3.4 基于NoSQL的空间数据存储与检索研究 |
3.5 本章小结 |
4 混合架构存储与检索系统设计与实现 |
4.1 需求分析和功能设计 |
4.2 系统总体架构设计 |
4.3 存储与检索接口实现 |
4.4 栅格影像数据的存储与检索实现 |
4.5 空间矢量数据的存储与检索实现 |
4.6 本章小结 |
5 实验结果及分析 |
5.1 原型系统环境 |
5.2 实验结果及分析 |
5.3 本章小结 |
6 总结与展望 |
6.1 论文总结 |
6.2 展望 |
致谢 |
参考文献 |
(6)土地确权登记报送系统的数据库性能调优方案研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究意义和背景 |
1.2 国内外研究现状 |
1.2.1 理论研究发展 |
1.2.2 性能调优工具的发展 |
1.2.3 其他数据库产品的发展 |
1.3 课题研究目的和研究内容 |
1.4 论文组织结构 |
第二章 数据库性能调优研究 |
2.1 SQL Server简介 |
2.2 数据库性能指标 |
2.3 性能调优技术路线 |
2.4 性能调优方案的研究 |
2.4.1 应用程序的调优 |
2.4.2 数据库调优 |
2.4.3 操作系统的调优 |
2.4.4 硬件设备的调优 |
2.5 本章小结 |
第三章 土地确权登记报送系统性能调优方案研究与实现 |
3.1 土地确权登记报送系统架构 |
3.1.1 土地确权登记报送系统 |
3.1.2 土地确权登记报送系统架构 |
3.2 数据库性能监控工具的实现 |
3.3 土地确权登记报送系统应用程序层调优 |
3.3.1 数据库逻辑设计的调优 |
3.3.2 添加索引 |
3.3.3 数据库语句调优 |
3.3.4 缓存技术的应用 |
3.4 土地确权登记报送系统数据库层调优 |
3.4.1 缓存池拓展 |
3.4.2 优化服务器内存 |
3.4.3 调整最大工作者线程数 |
3.5 土地确权登记报送系统操作系统层调优 |
3.5.1 网络带宽的调优 |
3.5.2 禁止非必需的服务 |
3.6 土地确权登记报送系统硬件设备层调优 |
3.6.1 内存的调优 |
3.6.2 CPU的调优 |
3.6.3 磁盘I/O的调优 |
3.7 本章小结 |
第四章 土地确权登记报送系统性能测试 |
4.1 性能测试工具以及使用方法 |
4.1.1 资源监视器 |
4.1.2 性能监视器 |
4.1.3 动态管理视图 |
4.1.4 数据收集器 |
4.1.5 JMeter简介 |
4.2 测试环境和方法 |
4.2.1 测试方法设计 |
4.2.2 测试用例的设计 |
4.3 测试结果和分析 |
4.4 本章小结 |
第五章 总结与展望 |
5.1 本文工作总结 |
5.2 未来研究目标及展望 |
参考文献 |
致谢 |
作者攻读学位期间发表的学术论文目录 |
(7)传统数据库业务迁移到虚拟化环境中的性能优化与应用研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 国内外研究现状 |
1.1.1 基本概念 |
1.1.2 虚拟化的发展现状与趋势 |
1.2 主要研究工作 |
1.2.1 论文的主要研究内容 |
1.2.2 技术路线 |
1.3 论文组织结构 |
第二章 企业关键应用与虚拟化技术 |
2.1 企业关键应用 |
2.2 虚拟化企业关键应用的作用 |
2.2.1 高可用性 |
2.2.2 灾难恢复 |
2.2.3 可扩展性 |
2.2.4 部署便利 |
2.2.5 迭代测试 |
2.2.6 高效整合 |
2.3 企业关键应用的虚拟化架构 |
2.4 本章小结 |
第三章 关键应用在虚拟化中的性能优化方案设计 |
3.1 企业关键应用虚拟化迁移 |
3.1.1 克隆迁移技术 |
3.1.2 迁移企业关键业务至ESXi服务器 |
3.2 性能优化目标与方案 |
3.2.1 虚拟化性能优化目标 |
3.2.2 虚拟化性能优化方案 |
3.3 ESXi主机性能优化 |
3.4 虚拟化计算性能优化 |
3.4.1 计算虚拟化的基本概念 |
3.4.2 ESXi NUMA调度的工作原理 |
3.4.3 超线程架构的负载均衡 |
3.4.4 虚拟化计算性能优化方案 |
3.5 虚拟化内存性能优化 |
3.5.1 管理程序内存交换 |
3.5.2 管理虚拟机内存分配 |
3.5.3 虚拟化内存性能优化方案 |
3.6 虚拟化存储性能优化 |
3.6.1 存储虚拟化的基本概念 |
3.6.2 虚拟化存储性能优化方案 |
3.7 虚拟网络性能优化 |
3.7.1 虚拟网络的基本概念 |
3.7.2 虚拟化网络性能优化方案 |
3.8 本章小结 |
第四章 关键应用虚拟化后的性能优化实施 |
4.1 SQL Server数据库实例的虚拟化 |
4.1.1 物理环境架构 |
4.1.2 迁移物理SQL Server至ESXi服务器 |
4.1.3 物理服务器与虚拟机的工作负载切换 |
4.2 ESXi主机性能优化 |
4.2.1 能源管理 |
4.2.2 Windows虚拟机能源设置 |
4.3 虚拟机计算性能优化 |
4.3.1 启用硬件与软件NUMA |
4.3.2 启用虚拟SMP整合 |
4.3.3 启用vNUMA |
4.3.4 NUMA与SQL Server连接 |
4.4 虚拟机内存性能优化 |
4.4.1 配置主机SSD缓存内存交换 |
4.4.2 更改工作集大小侦测频率 |
4.4.3 配置虚拟机内存预留 |
4.4.4 配置虚拟机内存热插拔 |
4.5 虚拟机存储性能优化 |
4.5.1 更改虚拟磁盘类型 |
4.5.2 为虚拟机配置多个vSCSI控制器 |
4.5.3 更改vSCSI控制器类型 |
4.5.4 分离不同类型的读写I/O |
4.5.5 配置虚拟闪存读缓存 |
4.6 虚拟机网络性能优化 |
4.6.1 添加DRS关联性规则 |
4.6.2 更改网络延迟敏感度 |
4.6.3 更改虚拟交换机负载均衡策略 |
4.6.4 更改虚拟机网卡类型 |
4.6.5 分离VMkernel流量 |
4.6.6 绑定ISCSI网络流量到指定的VMkernel端口 |
4.7 本章小结 |
第五章 性能优化测试结果与分析 |
5.1 测试平台 |
5.1.1 SQL Server物理服务器环境 |
5.1.2 ESXi服务器环境 |
5.1.3 服务器CPU与内存性能对比 |
5.2 测试工作负载与相关参数工具 |
5.2.1 类TPC-E OLTP工作负载 |
5.2.2 类TPC-E OLTP性能验证工具 |
5.2.3 主要测试参数与监控指标 |
5.3 基于类TPC-E OLTP工作负载的数据库性能 |
5.3.1 测试场景 1-虚拟化前的数据库OLTP工作负载性能 |
5.3.2 测试场景 2-虚拟化后的数据库OLTP工作负载性能 |
5.3.3 测试场景 3-性能优化后的数据库OLTP工作负载性能(6GB) |
5.3.4 测试场景 4-性能优化后的数据库OLTP工作负载性能(12GB) |
5.4 性能测试结果分析 |
5.4.1 虚拟化性能优化前后测试结果对比 |
5.4.2 虚拟化前与性能优化后测试结果对比 |
5.4.3 内存过载与正常场景下的测试结果对比 |
5.5 结论 |
5.6 本章小结 |
第六章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
附录1 攻读硕士学位期间撰写的论文 |
致谢 |
(8)数据库设计对SQL Server数据库性能优化分析(论文提纲范文)
1 数据库结构及设计要点 |
2 数据库逻辑设计 |
3 数据库物理设计 |
3.1 RAID技术 |
3.2 文件组方法 |
3.3 索引的合理规划 |
4 事务日志优化设计 |
5 结语 |
(9)水利技术标准信息系统研究开发(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 课题背景及意义 |
1.2 国内外技术现状 |
1.3 主要研究开发内容 |
1.4 论文内容及结构 |
2 系统分析 |
2.1 系统功能分析 |
2.1.1 系统基本需求分析 |
2.1.2 系统功能模块结构图 |
2.2 系统需求分析 |
2.2.1 系统用户识别 |
2.2.2 系统用例模型 |
2.3 系统顺序图及相应事件流 |
2.3.1 系统的数据流及相关顺序图 |
2.3.2 与一般用户相关的顺序图和事件流 |
2.3.3 与一般管理员相关的顺序图和事件流 |
2.3.4 与超级管理员相关的顺序图和事件流 |
3 系统总体设计 |
3.1 系统体系结构 |
3.2 系统包图 |
3.3 系统运行网络环境 |
3.4 系统开发及运行环境 |
3.5 系统类图 |
3.5.1 规范的PDF格式文档上传类图 |
3.5.2 标准文档在线格式转换类图 |
3.5.3 标准在线操作类图 |
3.5.4 标准在线查询类图 |
3.5.5 标准信息管理类图 |
3.5.6 用户管理类图 |
3.6 系统数据库设计 |
3.6.1 系统局部E-R图 |
3.6.2 系统全局E-R图 |
3.6.3 数据表结构设计 |
3.6.4 视图与触发器 |
4 系统详细设计及实现 |
4.1 水利技术标准文档格式及存储 |
4.1.1 现有电子文档格式缺陷 |
4.1.2 PDF文件格式介绍 |
4.1.3 水利技术标准文档格式 |
4.1.4 水利技术标准文档的存储 |
4.2 标准文档的上传与格式转换 |
4.2.1 标准文档上传模块流程 |
4.2.2 标准文档上传模块算法及实现 |
4.2.3 非标准格式文档上传与转换算法及实现 |
4.3 标准PDF文档在线显示模块实现 |
4.3.1 在线PDF文档显示原理及流程 |
4.3.2 在线PDF文档显示具体实现 |
4.4 数据库索引及文件目录 |
4.4.1 索引概念 |
4.4.2 基于SQL Server的索引技术 |
4.4.3 水利技术标准索引的实现 |
4.4.4 标准文档目录设计与实现 |
4.5 水利技术标准查询 |
4.5.1 多关键字查询实现 |
4.5.2 基于lucen.net的全文检索实现 |
4.6 系统管理 |
4.6.1 基于角色的访问控制简介 |
4.6.2 访问控制的具体实现 |
4.6.3 分配权限的具体实现 |
5 系统软件测试 |
5.1 测试大纲 |
5.1.1 目的 |
5.1.2 测试依据 |
5.1.3 测试内容及要点 |
5.2 测试方案 |
5.2.1 目的 |
5.2.2 测试环境 |
5.2.3 功能测试方案 |
5.2.4 性能测试方案 |
5.2.5 综合测试方案 |
5.3 测试要点表 |
5.4 软件测试案例说明书 |
5.5 WEB服务器性能测试与评价 |
6 系统运行界面 |
6.1 系统首页 |
6.2 系统标准收集模块运行界面 |
6.2.1 标准PDF格式标准上传页面 |
6.2.2 非标准PDF格式标准上传及格式转换 |
6.3 标准在线操作界面 |
6.3.1 标准在线显示界面 |
6.3.2 标准在线下载 |
6.3.3 标准在线打印 |
6.3.4 PDF标准内部查询 |
6.4 系统检索页面 |
6.4.1 系统分类检索 |
6.4.2 条件加多关键字检索 |
6.5 系统后台页面 |
6.5.1 登录界面 |
6.5.2 授权新用户 |
6.5.3 标准信息管理界面 |
7 总结与展望 |
致谢 |
参考文献 |
(10)基于Arc SDE和SQL Server空间数据库的设计与优化方法研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 论文研究背景 |
1.2 研究内容及意义 |
1.3 国内外研究现状 |
1.3.1 GIS在国内外发展现状 |
1.3.2 空间数据库优化研究现状 |
1.4 研究思路与论文组织结构 |
2 基于Arc SDE与SQL Server空间数据库的构建技术 |
2.1 空间数据库中GIS技术 |
2.2 空间数据库技术 |
2.2.1 关系型数据库SQL Server技术 |
2.2.2 空间数据库引擎Arc SDE技术 |
2.2.3 GeoDataBase空间数据模型 |
2.3 空间数据库存在的问题 |
2.4 本章小结 |
3 基于Arc SDE与SQL Server空间数据库设计与创建 |
3.1 空间数据库设计原则 |
3.2 空间数据库概念设计 |
3.3 空间数据库逻辑设计 |
3.3.1 空间数据库逻辑结构 |
3.3.2 空间数据库中属性数据的结构设计 |
3.4 空间数据库物理设计 |
3.5 空间数据库的创建及数据存储 |
3.5.1 空间数据库的创建 |
3.5.2 空间数据库的数据来源及处理 |
3.5.3 属性数据存储 |
3.5.4 空间数据存储 |
3.6 本章小结 |
4 基于Arc SDE与SQL Server空间数据库的优化方式 |
4.1 SQL Server数据库性能优化方法 |
4.1.1 共享池优化 |
4.1.2 数据缓冲区高速缓存 |
4.2 Arc SDE的优化方法 |
4.3 空间地图数据的优化方法 |
4.4 空间数据库索引优化方法 |
4.5 空间聚类优化方法 |
4.6 本章小结 |
5 空间聚类CLIQUE算法与R-树结合的空间数据优化方式 |
5.1 CLIQUE算法概述 |
5.1.1 CLIQUE算法的思想 |
5.1.2 CLIQUE算法的步骤 |
5.1.3 CLIQUE算法的优缺点 |
5.2 空间数据R-树索引概述 |
5.2.1 R-树索引思想 |
5.2.2 R-树索引的基本操作 |
5.3 CLIQUE算法与R-树结合的空间数据索引 |
5.3.1 CLIQUE算法与R-树结合的空间数据索引的思想 |
5.3.2 CLIQUE算法与R-树结合的空间数据索引的步骤 |
5.3.3 CLIQUE算法与R-树结合的空间数据索引的流程图 |
5.4 实验数据结果与分析 |
5.4.1 实验环境 |
5.4.2 实验数据的获取 |
5.4.3 实验结果与分析 |
5.5 本章小结 |
6 总结与展望 |
6.1 工作总结 |
6.2 未来的展望 |
参考文献 |
致谢 |
作者简介 |
在读期间发表的论着及科研成果 |
四、索引技术在提高SQL Server性能中的应用(论文参考文献)
- [1]基于HBase数据库的时空大数据存储与索引研究[D]. 蒋叶林. 昆明理工大学, 2021(01)
- [2]面向微博的用户关系网络挖掘系统的研究与实现[D]. 李一丹. 北京邮电大学, 2020(05)
- [3]计算机科技论文摘要的机翻错误类型及译后编辑[D]. 付茜雯. 大连理工大学, 2020(06)
- [4]基于HBase的海量图片存储与快速检索技术研究[D]. 谢地. 长江大学, 2020(02)
- [5]面向河湖空间大数据的混合架构存储与检索系统研究及应用[D]. 江穹峰. 华中科技大学, 2019(03)
- [6]土地确权登记报送系统的数据库性能调优方案研究与实现[D]. 郐洪楠. 北京邮电大学, 2018(11)
- [7]传统数据库业务迁移到虚拟化环境中的性能优化与应用研究[D]. 丁楠. 南京邮电大学, 2017(02)
- [8]数据库设计对SQL Server数据库性能优化分析[J]. 徐小亚,李君芳. 信息与电脑(理论版), 2017(02)
- [9]水利技术标准信息系统研究开发[D]. 刘浩东. 西安理工大学, 2016(04)
- [10]基于Arc SDE和SQL Server空间数据库的设计与优化方法研究[D]. 马元龙. 安徽农业大学, 2016(05)