SQL SERVER 数据压缩

从SQL SERVER 2008开始,SQL SERVER 提供了对数据进行压缩的功能,启用数据压缩无须修改应用程序。

数据压缩可有效减少数据的占用空间,读取和写入相同数据花费的IO也响应减少,从而可以有效缓解IO压力,但由于数据在读取和写入时需要压缩和解压缩,因此会消耗CPU资源,但不代表在相同负载下,启用数据压缩会导致CPU的使用率变高,某些操作会因为数据页数量的减少而降低CPU资源的消耗。

可以配置数据压缩的对象有:
1>存储为堆的整个表。
2>存储为聚集索引的整个表。
3>整个非聚集索引。
4>整个索引视图。
5>对于已分区表和已分区索引,可为每个分区配置压缩选项,且对象的各个分区的压缩设置不必相同。
(个人理解:数据压缩是在parition级别上使用,未分区表和未分区索引同样可以找到一个对应的partitionID)


数据压缩方式有两种
1:行压缩
2:页压缩


行压缩实现:
行压缩更改与数据类型相关联的数据的物理存储格式来实现压缩:
1>减少了与记录相关联的元数据开销。 此元数据为有关列、列长度和偏移量的信息。 在某些情况下,元数据开销可能大于旧的存储格式。
2>它对于数值类型(例如,integer、decimal 和 float)和基于数值的类型(例如,datetime 和 money)使用可变长度存储格式。
3>它通过使用不存储空字符的可变长度格式来存储定长字符串。

快速理解:
对应数值类型和基于数值的类型来说,由于需要类型定义范围内的数据,因此需要相对较大的定长空间,如BIGINT占用8个字节,但对于值1来说,只需要一个字节便可以存放,启用行压缩便可以节省7个字节的空间;对于定长数据类型,如果存放的数据未达到指定长度,会补空字符来填满,如类型CHAR(200)用来存放字符串"1"会花费200个字节,但启用行压缩后,会将填充的空字符移除,只需要1个字节便可以存放。而对于类型bit来说,除自身消耗的空间外,还需要额外的4个bit来存放元数据,因此也可以从行压缩中获益。


行压缩影响的数据类型可参考http://msdn.microsoft.com/zh-cn/library/cc280576.aspx


页压缩实现:
页压缩是在行压缩的基础上进行前缀压缩,然后再进行字典压缩


前缀压缩:前缀压缩针对页中的各列来进行压缩,首先从列中选取出一个前缀值(不要求页中每一行的该列的值都包含此前缀)存放在页头,然后使用该前缀替换页中每一行的该列值,如提起前缀为aabbcc,对应值aabbccdd则替换为6dd,对应值aadd则替换为2dd,对应值ccbbdd则替换成0ccbbdd,对应值aabbcc则替换成[],每行会生成一个前缀来处理。


字典压缩:字典压缩是在前缀压缩完成后,搜索页面上任意位置的重复值,然后将它们存储在 CI 区域中。 与前缀压缩不同,字典压缩不局限于一列。 字典压缩可以替换页面上任意位置出现的重复值。


当表和索引使用页压缩后,对于一个新的页面,插入数据行时会对该行启用行压缩,直到该页已满无法存放新增加的行时,才会使用页压缩的算法计算启用页压缩是否能存放新增加的行,如果可以存放,则对该页进行页压缩并将新增加的行放到该页,如果不能存放,则不对该页启用页压缩,申请新页来存放新行。


在SQL SERVER 2012中,SQL Server 使用 Unicode 标准压缩方案 (Standard Compression Scheme for Unicode, SCSU) 算法实现来压缩在行或页压缩对象中存储的 Unicode 值。 对于这些压缩对象,Unicode 压缩对于 nchar(n) 和 nvarchar(n) 列而言是自动的。 数据库引擎 将 Unicode 数据存储为 2 个字节,无论区域设置如何。 这称为 UCS-2 编码。 对于某些区域设置而言,在 SQL Server 中实现 SCSU 压缩可节省高达 50% 的存储空间。

数据压缩Demo

--=============================================================================================================================
--=========================================================
--判断表和索引是否启用压缩和压缩类型
--宋桑提供
SELECT DISTINCT
SCHEMA_NAME(o.schema_id)  + '.' + OBJECT_NAME(o.object_id) AS TableName,
i.name AS IndexName,
p.data_compression_desc AS CompressionType,
i.type_desc AS StorageType
FROM sys.partitions  p  with(nolock)
INNER JOIN sys.objects o with(nolock)
ON p.object_id = o.object_id 
JOIN sys.indexes i 
ON p.object_id = i.object_id
AND i.index_id = p.index_id
WHERE p.data_compression > 0 
AND SCHEMA_NAME(o.schema_id) <> 'SYS' 


--=========================================================
--使用采样来预估数据对象启用压缩前后的空间使用
--参考链接:http://msdn.microsoft.com/zh-cn/library/cc280574.aspx
--PS:该算法只能起参考作用,数据压缩得到的空间可能比预估的要大很多
EXEC sp_estimate_data_compression_savings 'dbo', 'TB', NULL, NULL, 'ROW' ;

--=========================================================
--对表使用数据压缩
ALTER TABLE  <table_name>
REBUILD PARTITION = ALL 
WITH (DATA_COMPRESSION = PAGE|ROW)

--=========================================================
--对表中特定分区指定压缩
ALTER TABLE <table_name> 
REBUILD PARTITION = 1 WITH (DATA_COMPRESSION =  PAGE|ROW)

--=========================================================
--对表中多个特定分区指定压缩
ALTER TABLE <table_name> 
REBUILD PARTITION = ALL 
WITH (DATA_COMPRESSION = PAGE ON PARTITIONS(<range>),
... )
--=========================================================
--在新建索引时指定压缩
CREATE CLUSTERED INDEX [CLX_ID] ON [dbo].[TB2] 
(
    [ID] ASC
)WITH (DATA_COMPRESSION = { NONE | ROW | PAGE}) ON [PRIMARY]
GO

--=========================================================
--使用重建索引来进行压缩
ALTER INDEX [CLX_ID] ON [dbo].[TB2] REBUILD PARTITION = ALL 
WITH ( DATA_COMPRESSION = { NONE | ROW | PAGE })


--=============================================================================================================================


压缩试验:
压缩表定义为:

CREATE TABLE [dbo].[TB1](
 [id] [bigint] IDENTITY(1,1) PRIMARY KEY,
 [star_uid] [bigint] NOT NULL,
 [source_uid] [bigint] NOT NULL,
 [site_type] [tinyint] NOT NULL,
 [site_server_type] [tinyint] NOT NULL,
 [site_id] [bigint] NOT NULL,
 [count] [int] NOT NULL,
 [create_date] [bigint] NOT NULL,
 ) ON [PRIMARY]


压缩前占用空间:7309288KB
压缩后占用空间:2594624KB
压缩使用时间:3分58秒
压缩环境:8Core 32G 4块SAS(15000转4盘片)做RAID 10

--未完待续

参考链接:http://msdn.microsoft.com/zh-cn/library/cc280449.aspx

惯例上图引狼

原文地址:https://www.cnblogs.com/TeyGao/p/3545004.html