MySQL到Redis – 导入和模型

MySQL 前端之家
前端之家收集整理的这篇文章主要介绍了MySQL到Redis – 导入和模型，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
@H_404_0@

我正在考虑使用Redis来缓存一些用户数据快照,以加快对该数据的访问(其中一个原因是因为我的MysqL表遭受锁争用)而我正在寻找一步导入这样一个表的最佳方法(可能包含几条记录到数百万条记录)：

MysqL> select * from mytable where snapshot = 1133;
+------+--------------------------+----------------+-------------------+-----------+-----------+
| id   | email                    | name           | surname           | operation | snapshot  |
+------+--------------------------+----------------+-------------------+-----------+-----------+
| 2989 | example-2989@example.com | fake-name-2989 | fake-surname-2989 |         2 |      1133 |
| 2990 | example-2990@example.com | fake-name-2990 | fake-surname-2990 |        10 |      1133 |
| 2992 | example-2992@example.com | fake-name-2992 | fake-surname-2992 |         5 |      1133 |
| 2993 | example-2993@example.com | fake-name-2993 | fake-surname-2993 |         5 |      1133 |
| 2994 | example-2994@example.com | fake-name-2994 | fake-surname-2994 |         9 |      1133 |
| 2995 | example-2995@example.com | fake-name-2995 | fake-surname-2995 |         7 |      1133 |
| 2996 | example-2996@example.com | fake-name-2996 | fake-surname-2996 |         1 |      1133 |
+------+--------------------------+----------------+-------------------+-----------+-----------+

进入Redis键值存储区.

我可以有很多“快照”加载到Redis中,基本的访问模式是(sql语法)

> select * from mytable where snapshot =？和id =？

这些快照也可以来自其他表,因此“每个快照的全局唯一ID”是列快照,例如：

MysqL> select * from my_other_table where snapshot = 1134;
+------+--------------------------+----------------+-------------------+-----------+-----------+
| id   | email                    | name           | surname           | operation | snapshot  |
+------+--------------------------+----------------+-------------------+-----------+-----------+
| 2989 | example-2989@example.com | fake-name-2989 | fake-surname-2989 |         1 |      1134 |
| 2990 | example-2990@example.com | fake-name-2990 | fake-surname-2990 |         8 |      1134 |
| 2552 | example-2552@example.com | fake-name-2552 | fake-surname-2552 |         5 |      1134 |
+------+--------------------------+----------------+-------------------+-----------+-----------+

加载到redis的快照永远不会改变,它们只能通过TTL一周使用

>有一种方法可以将这种数据(行和列)一步加载到Redis中,结合redis-cli –pipe和HMSET？
>为了存储/获取这些数据,在redis中使用的最佳模型是什么(考虑访问模式)？

我找到了redis-cli –pipe Redis Mass Insertion(以及MySQL to Redis in One Step),但是我无法找到实现我的要求的最佳方法(使用HMSET从一步中加载所有行/列,最佳redis模型)

提前致谢

克里斯蒂安.

最佳答案
模型

能够以与以下相同的方式从Redis查询数据：

select * from mytable where snapshot = ?
select * from mytable where id = ?

你需要下面的模型.

注意：从mytable中选择*,其中snapshot =？和id =？这里没有多大意义,因为它与select * from mytable相同,其中id = ?.

密钥类型和命名

[Key Type] [Key name pattern]
HASH       d:{id}
ZSET       d:ByInsertionDate
SET        d:BySnapshot:{id}

注意：我使用d：作为命名空间,但您可能希望使用域模型的名称重命名它.

数据插入

从MysqL插入一个新行到Redis：

hmset d:2989 id 2989 email example-2989@example.com name fake-name-2989 ... snapshot 1134
zadd d:ByInsertionDate {current_timestamp} d:2989
sadd d:BySnapshot:1134 d:2989

另一个例子：

hmset d:2990 id 2990 email example-2990@example.com name fake-name-2990 ... snapshot 1134
zadd d:ByInsertionDate {current_timestamp} d:2990
sadd d:BySnapshot:1134 d:2990

克龙

以下是必须每天或每周运行的算法,具体取决于您的要求：

for key_name in redis(ZREVRANGEBYscore d:ByInsertionDate -inf {timestamp_one_week_ago})

 // retrieve the snapshot id from d:{id}
 val snapshot_id = redis(hget {key_name} snapshot)

 // remove the hash (d:{id})
 redis(del key_name)

 // remove the hash entry from the set
 redis(srem d:BySnapshot:{snapshot_id} {key_name})

// clean the zset from expired keys
redis(zremrangebyscore d:ByInsertionDate -inf {timestamp_one_week_ago})

用法

select * from my_other_table,其中snapshot = 1134;将是：

{snapshot_id} = 1134
for key_name in redis(smembers d:BySnapshot:{snapshot_id})
  print(redis(hgetall {keyname}))

或写一个lua脚本直接在redis端执行此操作.最后：

select * from my_other_table,其中id = 2989;将会：

{id} = 2989
print(redis(hgetall d:{id}))

进口

这部分很简单,只需阅读表格并按照上面的模型.根据您的要求,您可能希望以每小时/每日/每周cron导入所有(或部分)数据.

key-value-store

猜你在找的MySQL相关文章

Mysql通过frm和ibd恢复数据库
昨天的考试过程中，有个考点的服务器蓝屏重启后发现Mysql启动不了(5.6.45 x32版本，使用in...
MySQL 数据库中的数据类型
整数类型 标准 SQL 中支持 INTEGER 和 SMALLINT 这两种类型，MySQL 数据库除了支持这两种类...
MySQL Select 语句执行顺序
一条 SQL 查询语句结构如下： SELECT DISTINCT <select_list> FROM &lt...
MySQL 数据备份与恢复
数据备份 1. 备份数据库 使用 mysqldump 命令可以将数据库中的数据备份成一个文本文件，表...
MySQL 大表拆分
概述 在实际工作中，在关系数据库（MySQL、PostgreSQL）的单表数据量上亿后，往往会出现查...
MySQL 索引详解
索引的含义和特点 索引是创建在表上的，是对数据库表中一列或多列的值进行排序的一种数据结...
MySQL 索引失效场景总结
查询条件有 or 假设在 customer_name 字段设置了普通索引，执行以下 sql： # type: ref, p...
MySQL 主从复制
概述 MySQL 的高可用主要通过主从复制来实现，同时在主从复制的基础上可以构建一个 MySQL ...
MySQL 日志管理
概述 日志文件记录 MySQL 数据库运行期间发生的变化，当数据库遭到意外的损害时，可以通过...
MySQL 事务和锁
事务概述 当多个用户访问同一份数据时，一个用户在更改数据的过程中，可能有其他用户同时发...
MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLHBaseJDBC
undo日志persistent-cmysql-error-postal-codesql-match-almysql-5.6mysql-8.0database-tri安装路径系统错误data_dir丢失文件主从同步sql_mode数据库目录匿名用户character_seID归零数据库位置查询表重复字段查询字段截断日志SUSPECT7391Remote ServeLinked Serve玄学问题登录不上开启远程访问