前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Redis数据迁移

Redis数据迁移

作者头像
周小董
发布2019-06-11 10:22:19
4.3K1
发布2019-06-11 10:22:19
举报
文章被收录于专栏:python前行者python前行者

版权声明:如需转载本文章,请保留出处! https://blog.csdn.net/xc_zhou/article/details/90550221

键迁移

有时候我们想将一个redis的数据迁移到另一个redis中,redis提供了三种方式来满足数据迁移的需求,分别是move、dump+restore、migrate

move key db

Redis支持多数据库,多数据库之间彼此在数据上是隔离的。move key db就是把指定的键从源数据库迁移到目标数据库中。由于多数据库在生产环境中不建议使用,所以此命令很少使用到。

代码语言:javascript
复制
192.168.8.52:6379[9]> select 11
OK
192.168.8.52:6379[11]> keys *
(empty list or set)
192.168.8.52:6379[11]> select 10
OK
192.168.8.52:6379[10]> keys *
1) "333"
2) "222"
3) "search_news:start_urls"
4) "111"
192.168.8.52:6379[10]> move 111 11
(integer) 1
192.168.8.52:6379[10]> keys *
1) "333"
2) "222"
3) "search_news:start_urls"
192.168.8.52:6379[10]> select 11
OK
192.168.8.52:6379[11]> keys *
1) "111"
dump+restore
  • 命令:

源REDIS: dump key 目标redis:restore key ttl value 其中ttl代表过期时间,单位:毫秒。0代表不过期

  • 实现原理:

dump+restore可以实现redis不同实例之间的数据迁移。

(1)在源Redis上,dump命令会将键值序列化,格式采用RDB格式。

(2)在目标Redis上,restore命令会将上面序列化的值进行复原,其中ttl代表过期时间,如果ttl为0,则表示没有过期时间

  • 注意事项:

(1)整个迁移过程并非原子性的,而是通过客户端分布完成的。

(2)迁移过程是开启了两个实例的redis客户端,将源REDIS序列化后的值放到目标REDIS实例客户端进行操作,并不是在源Redis和目标Redis之间进行传输

代码语言:javascript
复制
192.168.8.52:6379[11]> dump 111
"\x00\xc0o\a\x000\xfc\xf01\xb7k*\xee"

47.104.17.125:6379[10]> keys *
1) "444"
2) "333"
47.104.17.125:6379[10]> restore 111 0 "\x00\xc0o\a\x000\xfc\xf01\xb7k*\xee"
OK
47.104.17.125:6379[10]> keys *
1) "444"
2) "111"
3) "333"
  • 代码方式实现
代码语言:javascript
复制
# -*- coding:utf-8 -*-
import redis

'''
redis 键迁移功能
'''
redis_server1 = redis.Redis(host='192.168.8.22', port=6379, db=10, password='333333',decode_responses=False)
dump=redis_server1.dump(name='search_news:start_urls')

#decode_responses=True的话会报编码错误
redis_server2 = redis.Redis(host='192.168.8.33', port=6379, db=10, password='333336',decode_responses=False)
redis_server2.restore(name='search_news:start_urls', ttl=0, value=dump)

#把某个键移到某个db,只能在同一个redis下进行
# redis_server2.move(name='11',db=1)
migrate

migrate命令具有原子性,只需要在源redis实例上执行migrate命令即可。Migrate的命令传输直接在源redis和目标redis实例之间进行。

命令:migrate host port key |’’ destination-db timeout [copy] [replace][keyskey[key…]]

  • host:目标redis的IP地址
  • Port:目标redis的端口号
  • key|’’:在Redis3.06版本之前,migrate只支持迁移一个键,所以此处是要迁移的键。Redis3.06版本之后支持迁移多个键,如果迁移多个键则此处填写空字符串’’
  • destination-db:目标数据库索引,例如要迁移到0号数据库,这里就写0 -?timeout:迁移的超时时间(单位毫秒)
  • [copy]:添加此选项后迁移后并不删除源键 -?[replace]:添加此选项后,不管目标redis是否存在该键,都会正常迁移进行数据覆盖

-?[keys key[key…]]:迁移多个键,例如要迁移k1k2 k3,此处填写keys key1 key2 key3,当所有的key在源实例上不存在时返回nokey

例如:(redis 没有密码的情况下,是操作成功的,有密码操作失败)

代码语言:javascript
复制
migrate 10.3.34.101 6378? 0 10000 copy keys mi aa

将mi aa两个元素迁移到10.3.34.101 6378实例的0号数据库上,源实例mi aa两个键仍然保留。

migrate异常NOAUTH Authentication required.

当redis cluster集群设置密码的时候,使用migirate需要加上密码,否则会报如下异常:

代码语言:javascript
复制
(error) ERR Target instance replied with error: NOAUTH Authentication required.

redis在3.0之前是不支持migrate带有password的,在3.0之后可以在migrate中加入auth参数来做权限校验

代码语言:javascript
复制
127.0.0.1:6380> migrate 192.168.0.33 6380 "" 0 2000 auth mypassword keys user:{info}:age user:{info}:id
OK

注意不要把auth password放到最后面,否则migrate会将会auth mypassword都当做key,结果报出如下错误,该错误是说migrate要迁移的多个key不在同一个slot中

代码语言:javascript
复制
(error) CROSSSLOT Keys in request don't hash to the same slot

注意:看到上面的解决方法时,本人进行了测试,结果并没有用,下边是测试过程

代码语言:javascript
复制
47.104.17.125:6379[10]> migrate 192.168.8.52 6379 '' 9 10000 auth 884456 copy keys 111
(error) IOERR error or timeout connecting to the client

参考:https://blog.csdn.net/sunhuiliang85/article/details/74352446 https://blog.csdn.net/sanchan/article/details/77719363 https://blog.csdn.net/u012062455/article/details/87568899 https://www.jianshu.com/p/908403dfc319 https://redis.io/commands/migrate

本文参与?腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019年05月25日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客?前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 键迁移
    • move key db
      • dump+restore
        • migrate
          • migrate异常NOAUTH Authentication required.
          相关产品与服务
          文件存储
          文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档


          http://www.vxiaotou.com