数据库压缩技术探索 -pg电子游戏网站

0顶
1踩

数据库压缩技术探索

2017-06-09 10:01 by 副主编 jihong10102006 评论(0) 有21521人浏览
引用
作者:雷鹏,terark核心技术发明人。曾就职奇虎360,负责搜索引擎核心研发;曾就职yahoo!北研所负责搜索广告、广告交易(adexchange)等项目。在数据库、高性能计算、分布式、系统架构上都深有造诣。
责编:仲培艺(zhongpy@csdn.net)
本文为原创文章,未经允许不得转载,更多精彩文章

作为数据库,在系统资源(cpu、内存、ssd、磁盘等)一定的前提下,我们希望:
  • 存储的数据更多:采用压缩,这个世界上有各种各样的压缩算法;
  • 访问的速度更快:更快的压缩(写)/解压(读)算法、更大的缓存。
几乎所有压缩算法都严重依赖上下文:
  • 位置相邻的数据,一般情况下相关性更高,内在冗余度更大;
  • 上下文越大,压缩率的上限越大(有极限值)。
块压缩

传统数据库中的块压缩技术

对于普通的以数据块/文件为单位的压缩,传统的(流式)数据压缩算法工作得不错,时间长了,大家也都习惯了这种数据压缩的模式。基于这种模式的数据压缩算法层出不穷,不断有新的算法实现。包括使用最广泛的gzip、bzip2、google的snappy、新秀zstd等。
  • gzip几乎在在所有平台上都有支持,并且也已经成为一个行业标准,压缩率、压缩速度、解压速度都比较均衡;
  • bzip2是基于bwt变换的一种压缩,本质是上对输入分块,每个块单独压缩,优点是压缩率很高,但压缩和解压速度都比较慢;
  • snappy是google出品,优点是压缩和解压都很快,缺点是压缩率比较低,适用于对压缩率要求不高的实时压缩场景;
  • lz4是snappy一个强有力的竞争对手,速度比snappy更快,特别是解压速度;
  • zstd是一个压缩新秀,压缩率比lz4和snappy都高不少,压缩和解压速度略低;相比gzip,压缩率不相上下,但压缩/解压速度要高很多。
对于数据库,在计算机世界的太古代,为i/o优化的btree一直是不可撼动的,为磁盘优化的btree block/page size比较大,正好让传统数据压缩算法能得到较大的上下文,于是,基于block/page的压缩也就自然而然地应用到了各种数据库中。在这个蛮荒时代,内存的性能、容量与磁盘的性能、容量泾渭分明,各种应用对性能的需求也比较小,大家都相安无事。

现在,我们有了ssd、pcie ssd、3d xpoint等,内存也越来越大,块压缩的缺点也日益突出:
  • 块选小了,压缩率不够;块选大了,性能没法忍;
  • 更致命的是,块压缩节省的只是更大更便宜的磁盘、ssd;
  • 更贵更小的内存不但没有节省,反而更浪费了(双缓存问题)。
于是,对于很多实时性要求较高的应用,只能关闭压缩。

块压缩的原理

使用通用压缩技术(snappy、lz4、zip、bzip2、zstd等),按块/页(block/page)进行压缩(块尺寸通常是4kb~32kb,以压缩率著称的tokudb块尺寸是2mb~4mb),这个块是逻辑块,而不是内存分页、块设备概念中的那种物理块。

启用压缩时,随之而来的是访问速度下降,这是因为:
  • 写入时,很多条记录被打包在一起压缩成一个个的块,增大块尺寸,压缩算法可以获得更大的上下文,从而提高压缩率;相反地,减小块尺寸,会降低压缩率。
  • 读取时,即便是读取很短的数据,也需要先把整个块解压,再去读取解压后的数据。这样,块尺寸越大,同一个块内包含的记录数目越多。为读取一条数据,所做的不必要解压就也就越多,性能也就越差。相反地,块尺寸越小,性能也就越好。
一旦启用压缩,为了缓解以上问题,传统数据库一般都需要比较大的专用缓存,用来缓存解压后的数据,这样可以大幅提高热数据的访问性能,但又引起了双缓存的空间占用问题:一是操作系统缓存中的压缩数据;二是专用缓存(例如rocksdb中的dbcache)中解压后的数据。还有一个同样很严重的问题:专用缓存终归是缓存,当缓存未命中时,仍需要解压整个块,这就是慢query问题的一个主要来源(慢query的另一个主要来源是在操作系统缓存未命中时)。

这些都导致现有传统数据库在访问速度和空间占用上是一个此消彼长、无法彻底解决的问题,只能采取一些折衷。

rocksdb 的块压缩

以rocksdb为例,rocksdb中的blockbasedtable就是一个块压缩的sstable,使用块压缩,索引只定位到块,块的尺寸在dboption里设定,一个块中包含多条(key,value)数据,例如m条,这样索引的尺寸就减小到了1/m:
  • m越大,索引的尺寸越小;
  • m越大,block的尺寸越大,压缩算法(gzip、snappy等)可以获得的上下文也越大,压缩率也就越高。
创建blockbasedtable时,key value被逐条填入buffer,当buffer尺寸达到预定大小(块尺寸,当然,一般buffer尺寸不会精确地刚好等于预设的块尺寸),就将buffer压缩并写入blockbasedtable文件,并记录文件偏移和buffer中的第一个key(创建index要用),如果单条数据太大,比预设的块尺寸还大,这条数据就单独占一个块(单条数据不管多大也不会分割成多个块)。所有key value写完以后,根据之前记录的每个块的起始key和文件偏移,创建一个索引。所以在blockbasedtable文件中,数据在前,索引在后,文件末尾包含元信息(作用相当于常用的fileheader,只是位置在文件末尾,所以叫footer)。

搜索时,先使用searchkey找到searchkey所在的block,然后到db cache中搜索这个块,找到后就进一步在块中搜索searchkey,如果找不到,就从磁盘/ssd读取这个块,解压后放入db cache。rocksdb中的db cache有多种实现,常用的包括lru cache,另外还有clock cache、counting cache(用来统计cache命中率等),还有其他一些特殊的cache。

一般情况下,操作系统会有文件缓存,所以同一份数据可能既在db cache中(解压后的数据),又在操作系统cache中(压缩的数据)。这样会造成内存浪费,所以rocksdb提供了一个折衷:在dboption中设置direct_io选项,绕过操作系统cache,这样就只有db cache,可以节省一部分内存,但在一定程度上会降低性能。

传统非主流压缩:fm-index

fm-index的全名是full text matching index,属于succinct data structure家族,对数据有一定的压缩能力,并且可以直接在压缩的数据上执行搜索和访问。

fm-index的功能非常丰富,历史也已经相当悠久,不算是一种新技术,在一些特殊场景下也已经得到了广泛应用,但是因为各种原因,一直不温不火。最近几年,fm-index开始有些活跃,首先是github上有个大牛实现了全套succinct算法,其中包括fm-index,其次berkeley的succinct项目也使用了fm-index。

fm-index属于offline算法(一次性压缩所有数据,压缩好之后不可修改),一般基于bwt变换(bwt变换基于后缀数组),压缩好的fm-index支持以下两个最主要的操作:
  • data = extract(offset, length)
  • {offset} = search(string) ,返回多个匹配string的位置/偏移(offset)
fm-index还支持更多其他操作,感兴趣的朋友可以进一步调研。

但是,在笔者看来,fm-index有几个致命的缺点:
  • 实现太复杂(这一点可以被少数大牛们克服,不提也罢);
  • 压缩率不高(比流式压缩例如gzip差太多);
  • 搜索(search)和访问(extract)速度都很慢(在2016年最快的cpu i7-6700k上,单线程吞吐率不超过7mb/sec);
  • 压缩过程又慢又耗内存(berkeley的succinct压缩过程内存消耗是源数据的50倍以上);
  • 数据模型是flat text,不是数据库的keyvalue模型。
可以用一种简单的方式把flat model转化成keyvalue model:挑选一个在key和value中都不会出现的字符“#”(如果无法找出这样的字符,需要进行转义编码),每个key前后都插入该字符,key之后紧邻的就是value。如此,search(#key#)返回了#key#出现的位置,我们就能很容易地拿到value了。

berkeley的succinc项目在fm-index的flat text模型上实现了更丰富的行列(row-column)模型,付出了巨大的努力,达到了一定的效果,但离实用还相差太远。

感兴趣的朋友可以仔细调研下fm-index,以验证笔者的总结与判断。

terark的可检索压缩(searchable compression)

terark公司提出了“可检索压缩(searchable compression)”的概念,其核心也是直接在压缩的数据上执行搜索(search)和访问(extract),但数据模型本身就是keyvalue模型,根据其测试报告,速度要比fm-index快得多(两个数量级),具体阐述:
  • 摒弃传统数据库的块压缩技术,采用全局压缩;
  • 对key和value使用不同的全局压缩技术;
  • 对key使用有搜索功能的全局压缩技术coindex(对应fm-index的search);
  • 对value使用可定点访问的全局压缩技术pa-zip(对应fm-index的extract)。
对key的压缩:co-index

我们需要对key进行索引,才能有效地进行搜索,并访问需要的数据。

普通的索引技术,索引的尺寸相对于索引中原始key的尺寸要大很多,有些索引使用前缀压缩,能在一定程度上缓解索引的膨胀,但仍然无法解决索引占用内存过大的问题。

我们提出了co-index(compressed ordered index)的概念,并且通过一种叫做nested succinct trie的数据结构实践了这一概念。

较之传统实现索引的数据结构,nested succinct trie的空间占用小十几倍甚至几十倍。而在保持该压缩率的同时,还支持丰富的搜索功能:
  • 精确搜索;
  • 范围搜索;
  • 顺序遍历;
  • 前缀搜索;
  • 正则表达式搜索(不是逐条遍历)。
与fm-index相比,co-index也有其优势(假定fm-index中所有的数据都是key)。

表1 fm-index对比co-index

co-index的原理

实际上我们实现了很多种co-index,其中nested succinct trie是适用性最广的一种,在这里对其原理做一个简单介绍:

succinct data structure介绍

succinct data structure是一种能够在接近于信息论下限的空间内来表达对象的技术,通常使用位图来表示,用位图上的rank和select来定位。

虽然能够极大降低内存占用量,但实现起来较为复杂,并且性能低很多(时间复杂度的常数项很大)。目前开源的有sdsl-lite,我们则使用自己实现的rank-select,性能也高于开源实现。

以二叉树为例

传统的表现形式是一个结点中包含两个指针:struct node { node *left, *right; };

每个结点占用 2ptr,如果我们对传统方法进行优化,结点指针用最小的bits数来表达,n个结点就需要2*[log2(n)]个bits。
  • 对比传统基本版和传统优化版,假设共有216个结点(包括null结点),传统优化版需要2 bytes,传统基本版需要4/8 bytes。
  • 对比传统优化版和succinct,假设共有10亿(~230)个结点。
  • 传统优化版每个指针占用[log2(230)]=30bits,总内存占用:($\frac{2*30}{8}$)*230≈ 7.5gb。
  • 使用succinct,占用:($\frac{2.5}{8}$)*230≈ 312.5mb(每个结点2.5 bits,其中0.5bits是 rank-select 索引占用的空间)。
succinct tree

succinct tree有很多种表达方式,这里列出常见的两种:

图1 succinct tree表达方式示例

succinct trie = succinct tree trie label

trie可以用来实现index,图2这个succinct trie用的是louds表达方式,其中保存了hat、is、it、a、四个key。

patricia trie加嵌套

仅使用succinct技术,压缩率远远不够,所以又应用了路径压缩和嵌套。这样一来,压缩率就上了一个新台阶。

把上面这些技术综合到一起,就是我们的nest succinct trie。

对value的压缩: pa-zip

我们研发了一种叫做pa-zip (point accessible zip)的压缩技术:每条数据关联一个id,数据压缩好之后,就可以用相应的id访问那条数据。这里,id就是那个point,所以叫做point accessible zip。

pa-zip对整个数据库中的所有value(keyvalue数据库中所有value的集合)进行全局压缩,而不是按block/page进行压缩。这是针对数据库的需求(keyvalue 模型),专门设计的一个压缩算法,用来解决传统数据库压缩的问题:
  • 压缩率更高,没有双缓存的问题,只要把压缩后的数据装进内存,不需要专用缓存,可以按id直接读取单条数据,如果把这种读取单条数据看作是一种解压,那么:
  • 按id顺序解压时,解压速度(throughput)一般在500mb每秒(单线程),最高达到约7gb/s,适合离线分析性需求,传统数据库压缩也能做到这一点;
  • 按id随机解压时,解压速度一般在300mb每秒(单线程),最高达到约3gb/s,适合在线服务需求,这一点完胜传统数据库压缩:按随机解压300mb/s算,如果每条记录平均长度1k,相当于qps = 30万;如果每条记录平均长度300个字节,相当于qps = 100万;
  • 预热(warmup),在某些特殊场景下,数据库可能需要预热。因为去掉了专用缓存,terarkdb的预热相对简单高效,只要把mmap的内存预热一下(避免page fault即可),数据库加载成功后就是预热好的,这个预热的throughput就是ssd连续读的io性能(较新的ssd读性能超过3gb/s)。
与fm-index相比,pa-zip解决的是fm-index的extract操作,但性能和压缩率都要好得多:

表2 fm-index对比pa-zip

结合key与value

key以全局压缩的形式保存在co-index中,value以全局压缩的形式保存在 pa-zip中。搜索一个key,会得到一个内部id,根据这个id,去pa-zip中定点访问该id对应的value,整个过程中只触碰需要的数据,不需要触碰其他数据。

如此无需专用缓存(例如rocksdb中的dbcache),仅使用mmap,完美配合文件系统缓存,整个db只有mmap的文件系统缓存这一层缓存,再加上超高的压缩率,大幅降低了内存用量,并且极大简化了系统的复杂性,最终完成数据库性能的大幅提升,从而同时实现了超高的压缩率和超高的随机读性能。

从更高的哲学层面看,我们的存储引擎很像是用构造法推导出来的,因为co-index和pa-zip紧密配合,完美匹配keyvalue模型,功能上“刚好够用”,性能上压榨硬件极限,压缩率逼近信息论的下限。相比其他方案:
  • 传统块压缩是从通用的流式压缩衍生而来,流式压缩的功能非常有限,只有压缩和解压两个操作,对太小的数据块没有压缩效果,也无法压缩数据块之间的冗余。把它用到数据库上,需要大量的工程努力,就像给汽车装上飞机机翼,然后要让它飞起来。
  • 相比fm-index,情况则相反,fm-index的功能非常丰富,它就必然要为此付出一些代价——压缩率和性能。而在keyvalue模型中,我们只需要它那些丰富功能的一个非常小的子集(还要经过适配和转化),其他更多的功能毫无用武之地,却仍然要付出那些代价,就像我们花了很高的代价造了一架飞机,却把它按在地上,只用轮子跑,当汽车用。

  • 图2 用louds方式表达的succinct tree


    图3 路径压缩与嵌套

附录

压缩率&性能测试比较

数据集:amazon movie data

amazon movie data (~8 million reviews),数据集的总大小约为9gb, 记录数大约为800万条,平均每条数据长度大约1k。

benchmark代码开源:参见。
压缩率(见图4)

图4 压缩率对比

随机读(见图5)

图5 随机读性能对比


这是在内存足够的情况下,各个存储引擎的性能。
延迟曲线(见图6)

图6 延迟曲线对比

数据集:wikipedia英文版

wikipedia英文版的所有文本数据,109g,压缩到23g。

数据集:tpc-h

在tpc-h的lineitem数据上,使用terarkdb和原版rocksdb(blockbasedtable)进行对比测试:

表3 terarkdb与原版rocksdb对比测试

api 接口

terarkdb = terark sstable rocksdb

rocksdb最初是facebook对google的leveldb的一个fork,编程接口上兼容leveldb,并增加了很多改进。

rocksdb对我们有用的地方在于其sstable可以plugin,所以我们实现了一个rocksdb的sstable,将我们的技术优势通过rocksdb发挥出来。

虽然rocksdb提供了一个相对完整的keyvaluedb框架,但要完全适配我们特有的技术,仍有一些欠缺,所以需要对rocksdb本身也做一些修改。将来可能有一天我们会将自己的修改提交到rocksdb官方版。

github链接:(),terarkdb包括两部分:
  • terark-zip-rocksdb(),(terark sstable forrocksdb)
  • terark fork rocksdb(),(必须使用这个修改版的rocksdb)
为了更好的兼容性,terarkdb对rocksdb的api没有做任何修改,为了进一步方便用户使用terarkdb,我们甚至提供了一种方式:程序无需重新编译,只需要替换 librocksdb.so并设置几个环境变量,就能体验terarkdb。

如果用户需要更精细的控制,可以使用c api详细配置terarkdb的各种选项。

目前大家可以免费试用,可以做性能评测,但是不能用于production,因为试用版会随机删掉0.1%的数据。

terark命令行工具集

我们提供了一组命令行工具,这些工具可以将输入数据压缩成不同的形式,压缩后的文件可以使用terark api或(该工具集中的)其他命令行工具解压或定点访问。

详情参见()。
  • 大小: 50.7 kb
  • 大小: 52.9 kb
  • 大小: 13.9 kb
  • 大小: 91.4 kb
  • 大小: 135.7 kb
  • 大小: 23.3 kb
  • 大小: 18.9 kb
  • 大小: 89 kb
  • 大小: 108.9 kb
0
1
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • (1)面向对象的方法和技术对数据库发展的影响最为深远数据库研究人员借鉴和吸收了面向对象的方法和技术,提出了面向对象数据模型(简称对象模型)。该模型克服了传统数据模型的局限性,促进了数据库技术在一个新的...

  • 这其中的关键技术就是vector clock ,如下图所示: 我们来分析下这个过程: 第一步,客户端通过节点sx一个对象,并创建对象的向量时钟 vector clock。至此,系统有了一个对象 d1 和它的向量时钟 [(sx, 1)]。 第二...

  • 文章目录一、背景二、gpu 数据库分类与层次1.商用型c-gdbms 中分为3类2.研究型r-gdbms三、查询编译器 一、背景 1.gpu性能极高 gpu 与 cpu 具有不同的体系结构和处理模式,将更多的片上空间用于计算单元,控制单元和...

  • 凌云时刻编者按:本篇整理自峰会《时序数据库论坛》演讲视频的文字版本。作者孙金城,花名金竹,在阿里工作近10年,以apacheflink为切入点,在流计算领域贡献了5年,目前以阿里巴巴物联网...

  • 数据库技术产生于20世纪60年代末70年代初,其主要主要研究如何存储,使用和管理数据。随着计算机硬件和软件的发展,数据库技术也不断地发展。数据库技术在理论研究和系统开发上都取得了辉煌的成就。tidb 是 pingcap ...

  • 日前,字节跳动技术社区 bytetech 举办的第四期字节跳动技术沙龙圆满落幕,本期沙龙以《字节云数据库架构设计与实战》为主题。在沙龙中,字节跳动基础架构数据库开发工程师刘辉聪,跟大家探讨了 《字节云数据库未来...

  • 第十二届中国数据库技术大会(dtcc2021),在北京火热开展,一场盛会,围绕着当前热门的“时序数据库”话题,共同探讨最前沿的技术趋势与实践。 四维纵横在大会上由“首席技术官” ——翁岩青亮相本届 dtcc,精彩...

  • 本期要点db-engines数据库排行榜一、rdbmsoracle发布21c,包含200多项创新mysql发布8.0.24及8.0.25版本postgresql发布14 beta 1,新增...

  • 为帮助用户了解极致体验背后的关键技术点,本期带来腾讯云数据库专家工程师王鲁俊给大家分享的腾讯云原生数据库tdsql-c的架构探索和实践,内容主要分为四个部分: 本次分享主要分为四个部分: 第一部分,介绍腾讯云...

  • 腾讯云数据库tdsql与中国人民大学最新联合研究成果被sigmod 2022接收并将通过长文形式发表。sigmod是国际数据管理与数据库领域顶尖的学术会议之...论文针对压缩数据的直接操作与处理,提出一项新型数据库处理技术——co

  • 数据库行业年度回顾技术的多元化探索与产品的差异化发展2021年,各家数据库产品都取得了长足的进步。首先,从技术角度上看,分布式、云及云原生、多模、htap、ai自治等代表性技术,成为了各大...

  • 来源:临床模型预测本文约9500字,建议阅读10 分钟本文我们将介绍几种数据库和数据挖掘技术,帮助临床研究人员更好地理解和应用数据库技术。数据挖掘技术可以从大量数据中寻找潜在有价值的信息...

  • 按照物理模型的不同,数据库可以分为:层次模型数据库、网状模型数据库、关系模型数据库、非关系模型数据库、等其他类型模型数据库 层次模型数据库: 概念:整个库中只有一个根节点。且每一个节点都只有一个父级节点...

  • nosql是not only sql的缩写,意即“不仅仅是sql”,即对关系型sql数据库系统的补充。 一类非关系数据存储系统 通常不需要一个固定的表的模式 所有的nosql淡化了一个或更多的acid属性 相比传统数据库叫它分布式...

  • 本文原题“阿里数据库十年变迁,那些你不知道的二三事”,来自阿里巴巴官方技术公号的分享。 1、引言 第十个双11即将来临之际,阿里技术推出《十年牧码记》系列,邀请参与历年双11备战的核心技术大牛,一起回顾...

  • 1961年,ge(通用电气公司,general electric company)的charles bachman ,开发了ids(集成数据存储,integrated data store),这是世界上第一个ndbms(网状数据库管理系统,network database management system...

  • 本人在备战数据库系统工程师的考试,把刷历年真题碰到的知识点记录在这边。(目录是第四版教程)

  • python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。python社区提供了大量的第三方库,如numpy、pandas和requests,极大地丰富了python的应用领域,从数据科学到web开发。python库的丰富性是python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,matplotlib和seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。

  • stm32单片机fpga毕设电路原理论文报告基于ide硬盘的数字图像存储技术研究本资源系百度网盘分享地址

global site tag (gtag.js) - google analytics
网站地图