Nosql的初识
前言:Nosql并不单指一个产品或一种技术,它代表一族产品,以及一系列不同的、有时相关联的、有关数据存储及处理的概念。
问题:多大的数据量才算大?
答:如果你就这个问题询问不同的人,必然会得到不同的答案。此外,答案还可能跟随提问的事迹而产生变化。
(几个TB大小的数据集使传统的RDMS技术开始表现吃力。)
一、目前数据存储相关问题
1、高校存储和访问大量数据很难。
2、操作大数据级涉及大量并行进程。
3、各种不同数据源生成的半结构化和无结构数据的schema和元数据持续不断的变化,对他们的管理是一个令人头疼的问题。
二、磁盘存储和数据读写速度
当前磁盘 声称 访问速率达 300Mbps,转速7200RPM
SSD(Solid-state driver,固态硬盘)使用微型芯片,而非机电旋转磁盘。
à声称 访问速率达 Gbps 但还充满bug和各种问题。
三、可扩展性
可扩展性是一种能力,有了它系统能通过通过增加资源提高吞吐量进而解决增加的负荷。
可扩展性可以通过两种方式实现:
一是配置一个大而强的资源来满足额外的需求。
垂直扩展。
使用配有大量cpu内核且直接挂载大量存储的超级计算机。(极其昂贵。)
二是依靠由普通积极组成的集群。
水平扩展。
补充1:大数据以及大规模并行处理的需要促使水平扩展得到广泛的采纳。
补充2:在水平集群上处理大规模数据的方法里,MapReduce模型可能要算最好的。
如有好的建议,可留言或发至笔者邮箱:fzb_xxzy@163.com