Redis被称为key/value应用中的瑞士军刀,除了其丰富的数据结构支持,更重要的是高效的内存使用,分析源码可以发现作者使用每一个byte都精打细算。在hashtable实现中,Redis引入了zipmap数据结构,保证在hashtable刚创建以及元素较少时,用更少的内存来存储,同时对查询的效率也不会受太大的影响。下面就以源码和例子结合的方式来分析一下zipmap的内存布局。
先来看一下zipmap提供的和存储相关的3个API:
zipmapNew:创建一个zipmap字符串。zipmap创建时只有2个字节,后面会随着set和delete操作动态扩展和收缩。
zipmapSet: 加入新的key/value或者修改zipmap中已有key对应的value。
zipmapDel:从zipmap中删除key/value。
下面给出一段伪代码并分析其内存布局的变化,如下图:
zipmapNew();
zipmapSet(key1,value1);
zipmapSet(key2,value2);
zipmapSet(key1,value3);
zipmapDel(key2);
zipmapSet(key1,value4);
1. zipmapNew();
创建一个zipmap结构体,包含两个字节,第一个字节(zmlen)是长度为1个字节的无符号整数,用来保存zipmap当前元素个数(而非字符串长度)。当zipmap的元素个数大于等于254时,zmlen将不再起作用,zipmap需要遍历整个字符串来获取当前元素个数。最后一个字节为255,表示zipmap的结束。
2. zipmapSet(key1, value1)
一个元素(key/value)在zipmap中有5部分组成:<len><key><len><free><value>。
<len>表示紧跟其后的string(key或者value)的长度。如果string的长度小于254(这里代码和注释不统一,注释是253,但代码是254,以代码为准),<len>用一个字节就可以表示(254和255有特殊含义),如果string的长度大于等于254,<len>需要5个字节来表示,第一个字节设置为254,紧跟其后的4个字节通过编码(按主机字节序)来表示<len>的值。zipmapEncodeLength和zipmapDecodeLength就是用来对<len>进行编解码的。<key>和<value>是char型string,<free>在第6步进行说明。
3. zipmapSet(key2, value2)
调用zipmapSet加入新的key/value时,zipmap将根据key2/value2的长度调用zipmapResize扩展空间,并将key2/value2插入到新分配的空间。同时将zipmap元素的个数加1(如果<zmlen>小于254)。
4. zipmapSet(key1,value3)
调用zipmapSet对已有的key修改其value,且新的value值大于现有value占用的空间时(加free的空间),zipmap将再次调用zipmapResize扩展空间,并调用memmove将key1/vaule1之后的字符串向后顺移。这里只调用一次memmove,不会对性能有太大影响。
5. zipmapDel(key2)
调用zipmapDel删除key2/value2时,zipmap将把key2/value2之后的字符串前移,并调用zipmapResize收缩占用的内存空间。同时将zipmap元素个数减1。
6. zipmapSet(key1, value4)
调用zipmapSet对已有的key1修改其value,且新的value值小于现有value占用的空间时,zipmap不会马上去调用zipmapResize做内存空间收缩,而是将空闲字节数存入free中,用于后面对这个key再次修改value时,避免调用zipmapResize(要根据新value的长度而定)。当然free的空间也不能太多,否则会造出空间的浪费。zipmap在free字节数大于等于ZIPMAP_VALUE_MAX_FREE(代码中定义为4)时,就对free的空间进行收缩。
以上就是zipmap内存布局和扩展收缩的过程,你可能会问zipmapGet岂不是O(n)的吗?没错,但因为key和value都是确定长度的字符串,所以这个n是zipmap中元素的个数,而不是zipmap整个串的长度。只要在使用zipmap时保证元素个数不是很多,就可以在时间复杂度和空间复杂度两方面找到很好的平衡点。redis.conf中默认配置hash-max-zipmap-entries为512。
分享到:
相关推荐
通过Key前缀分析Redis的内存占用按内存大小排序导出结果到csv文件
redis缓存解决方案和基本命令,redisredis内存存储结构分析.Redis的数据全部放在内存带来了高速的性能,但是也带来一些不合理之处。比如一个中型网站有100万注册用户,如果这些资料要用Redis来存储,内存的容量必须...
分析key内存大小
Go 实现的 Redis 内存分析工具:用于找出占用内存较多的 Key,将结果导出至 CSV 文件
但是由于数据量的不断增大,单机的Redis物理内存远远无法满足大数据的需要,因此需要搭建分布式的Redis,可以动态扩展内存,弥补单机Redis物理内存不够的缺点。本次测试旨在对Redis各方面性能有深入的了解,为今后的...
redis内存模型介绍,redis内存模型介绍
Go-通过Key前缀分析Redis的内存占用按内存大小排序导出结果到csv文件
基于springboot+echarts+redis开发的数据分析及可视化系统源码-毕业设计作品.zip基于springboot+echarts+redis开发的数据分析及可视化系统源码-毕业设计作品.zip基于springboot+echarts+redis开发的数据分析及可视化...
这是本人分redis内部数据存储结构的过程文档,部分无用细节忽略,这是数据存储结构的分析,没有增、删、改、查的动态处理过程,需要参考部分源码查看
Redis Analyzer - 用Rust编写的Redis内存分析器
Redis内存过期策略,Redis的内存回收机制,相关配置项
redis源码阅读中文分析注释
redis源码级别的分析。需要具备c语言基础的开发学习,十分详细,带你全程深入了解redis。
1、基于springboot+echarts+redis实现的数据分析及可视化系统源码+项目说明.zip 2、该资源包括项目的全部源码,下载可以直接使用! 3、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目...
缓存使用场景,介绍redis/内存等缓存的使用场景,更新策略等
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
Redis 是一个开源、高性能的Key-Value数据库,被广泛应用在服务器各种场景中。本文介绍几个查看Redis内存信息的命令,包括常用的info memory、info keyspace、bigkeys等。
Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说Redis是实现网站高并发不可或缺的一部分。我们使用Redis时,会接触Redis的5种对象类型(字符串、哈希、列表、集合、有序集合)...
Redis流量-流量分析