一、Nosql介绍
非关系型数据库(而MysqL、oracle、sqlserver都是关系型数据库)
1. 特点
数据之间无关系,随意扩展
数据存储简单,可以存在内存中,读写速度快
不需要建表、字段。自定义格式
2. 分类
A. 键值(Key-Value)数据库:redis、memcached、riak
redis/memcached 适合存储用户信息,比如会话、配置文件、参数、购物车等,这些信息一般和ID(键)挂钩
B. 面向文档(Document-Oriented)数据库:MongoDB、CouchDB、RavenDB
MongoDB将数据以文档形式存储,每个文档都是一系列数据项的集合,每个数据项都有一个名称与对应的值,值既可以是简单的数据类型,如文字、字符串、数字和日期等,也可以是复杂的类型,如有序列表和关联对象。数据存储的最小单位是文档,同一个表中存储的文档属性可以是不同的,数据可以使用XML、JSON或JSONB等多种形式
C. 列存储(Wide Column Store/Column-Family)数据库:Cassandra、HBase
D. 图(Graph-Oriented)数据库:Neo4J、Infinite Graph、OrientDB
二、Memcached介绍
国外Live Journal团队开发,通过缓存数据库查询结果,减少数据库的访问次数(写入减少不了),从而提高动态Web站点性能。数据存在内存中,重启服务器即数据消失
基于c/s架构,协议简单
基于libevent的事件处理
自主内存存储处理(slab allocation)
数据过期方式:Lazv Expiration和LRU
2. Memcationed流程图
3. Slab allocation原理
将分配的内存分割成各种尺寸的块(chunk),把尺寸相同的分成组,即chunk的集合,每个集合称为slab
Memcached的内存分配以Page为单位,Page默认值为1M,可以在启动时通过参数-l来指定
Slab由多个Page组成
一个Chunk最大不能超过1M,即一个Page
一个Slab可能有多个Page
原理图:
@L_301_1@
4. Growth factor
Memcached在启动时可以通过-f参数可以指定Growth Factor因子(即Chunk之间的的增长比例),默认为1.25,通过memcached-tool 可以查看指定的memcached实际的不同slab状态
命令:memcached-tool 127.0.0.1:11211 display
5. Memcached数据过期方式
Lazy Expiration:memcached内部不会监视是否过期,而是get时查看记录的时间戳,检查记录是否过期。这种技术称为lazy expiration。优点:memcached不会在过期监视上耗费cpu时间
LRU:memcached优先使用已超时的记录空间,会发生追加新记录空间不足的情况。从最近未被使用的记录中搜索,并将其空间分配给新的记录(即删除最近使用最少的记录的机制)。从缓存的使用角度看,该模型很理想
三、Redis介绍
属于key-value存储系统,和memcached相似,但是支持数据持久化(重启服务器,数据还是存在)
A. value类型:
string、hash、lists(链表)、sets(集合)、sorted sets(有序集合)
B. 文件格式:
RDB(全量数据)把内存中的数据写入磁盘,下次读取文件时,进行加载
aof(增量请求)内存中的数据有序化为操作请求,用于读取文件进行replay得到数据,相当于MysqL的二进制日志
C. 存储方式:
内存存储、磁盘存储、log文件
四、MongoDB介绍
数据存储为一个文档,数据结构由键值对(key=>value)组成,文档类型于JSON对象。字段值可以包含其它文档,数组及文档数组
和关系型数据库对比:
sql | 说明 | MongoDB | 说明 |
database | 数据库 | 数据库 | |
table | 表 | collection | 集合 |
row | 记录行 | document | 文档 |
column | 字段 | field | 域 |
index | 索引 | 索引 | |
table joins | 表连接 | ||
primary key | 主键 | primary | 自动将_id字段设置为主键 |