访问手机版  

招聘|合作 登陆|注册

网络工程师培训

当前位置:网络工程师 > 技术课程 > 存储 > 热点关注 > 存储新闻

大数据和存储技术有什么关系?

时间:2018-07-09 16:28:11

大数据和存储看似是两个不相关的名词。但是随着大数据时代的来临,大数据和存储技术和有了联系。大数据想要保留肯定离不开数据存储,就算存放在数据库,也离不开存储技术。大数据存储是将这些数据集持久化到计算机中。所以今天我们就来说说大数据存储技术。
大数据存储和传统的数据存储有什么不一样呢?
大数据应用的一个主要特点是实时性或者近实时性。数据通常以每年增长50%的速度快速激增,尤其是非结构化数据。随着科技的进步,有越来越多的传感器采集数据、移动设备、社交多媒体等等,所以数据只可能继续增长。总而言之,大数据需要非常高性能、高吞吐率、大容量的基础设备。
大数据存储既然和传统数据存储不一样,那在于存储技术路线上也会有一样吗?当然是,而且大数据存储技术有三种典型路线,是哪三种呢?

1、采用MPP架构的新型数据库集群,重点面向行业大数据,采用Shared Nothing架构,通过列存储、粗粒度索引等多项大数据处理技术,再结合MPP架构高效的分布式计算模式,完成对分析类应用的支撑,运行环境多为低成本PC Server。这一路线可以支撑PB级别的优化结构数据分析,最显著的优点就是高性能和高扩展性。
2、大数据一体机,这是一种专为大数据的分析处理而设计的软、硬件结合的产品,由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成。最显著的优点是稳定性好和扩展性好。
3、基于Hadoop的技术扩展和封装,围绕Hadoop衍生出相关的大数据技术,应对传统关系型数据库较难处理的数据和场景,目前最为典型的应用场景就是通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑。
基于Hadoop的技术扩展和封装的存储路线有一些存储技巧,可以帮助我们更好的处理数据。存储技巧包括:分布式存储、避免控制器瓶颈、合并Hadoop发行版、创建弹性数据湖、整合分析、虚拟化Hadoop、删重和压缩、超融合方案。
大数据存储技术是时代进步的产物,不管是从事大数据相关职业还是为了不与时代脱轨,这些技术我们都应该有一些了解,这样也是让我们可以学习更多的知识。在未来,大数据和存储技术还会有更多的发展,我们也应该时刻关注。