从一组大表中归档除了滚动的13个月之外的所有时间段.归档数据必须存储在另一个数据库中.

>数据库处于简单恢复模式
>这些表是50密耳到几十亿,在某些情况下每个占用数百GB.
>表当前未分区
>每个表在不断增加的日期列上都有一个聚簇索引
>每个表还有一个非聚集索引
>对表的所有数据更改都是插入
>目标是最大限度地减少主数据库的停机时间.
>服务器是2008 R2 Enterprise

“存档”表将有大约11亿行,“实时”表大约有4亿行.显然,存档表会随着时间的推移而增加,但我希望实时表也能够快速增加.至少在未来几年说50％.

我曾考虑过Azure拉伸数据库,但不幸的是我们是在2008 R2,可能会在那里停留一段时间.

目前的计划

>创建一个新数据库
>在新数据库中创建按月分区的新表(使用修改日期).
>将最近12-13个月的数据移动到分区表中.
>重命名两个数据库的交换
>从现在的“存档”数据库中删除移动的数据.
>对“归档”数据库中的每个表进行分区.
>使用分区交换将来存档数据.

>我确实意识到我必须交换要存档的数据,将该表复制到存档数据库,然后将其交换到存档表中.这是可以接受的.

问题：我正在尝试将数据移动到初始分区表中(实际上我仍在对其进行概念验证).我正在尝试使用TF 610(根据Data Loading Performance Guide)和INSERT … SELECT语句最初移动数据,认为它将被最小化记录.不幸的是,每次我尝试它都完全记录.

在这一点上,我认为我最好的选择可能是使用SSIS包移动数据.我正在努力避免这种情况,因为我正在处理200个表以及我可以通过脚本执行的任何操作,我可以轻松生成并运行.

在我的总体规划中是否有任何我遗漏的东西,SSIS是我最好的选择,可以快速移动数据并且最少使用日志(空间问题)？

没有数据的演示代码

-- Existing structure
USE [Audit]
GO

CREATE TABLE [dbo].[AuditTable](
    [Col1] [bigint] NULL,[Col2] [int] NULL,[Col3] [int] NULL,[Col4] [int] NULL,[Col5] [int] NULL,[Col6] [money] NULL,[Modified] [datetime] NULL,[ModifiedBy] [varchar](50) NULL,[ModifiedType] [char](1) NULL
); 
-- ~1.4 bill rows,~20% in the last year

CREATE CLUSTERED INDEX [AuditTable_Modified] ON [dbo].[AuditTable]
(   [Modified] ASC   )
GO


-- New DB & Code
USE Audit_New
GO

CREATE PARTITION FUNCTION ThirteenMonthPartFunction (datetime)
AS RANGE RIGHT FOR VALUES ('20150701','20150801','20150901','20151001','20151101','20151201','20160101','20160201','20160301','20160401','20160501','20160601','20160701') 

CREATE PARTITION SCHEME ThirteenMonthPartScheme AS PARTITION ThirteenMonthPartFunction
ALL TO ( [PRIMARY] );

CREATE TABLE [dbo].[AuditTable](
    [Col1] [bigint] NULL,[ModifiedType] [char](1) NULL
) ON ThirteenMonthPartScheme (Modified)
GO

CREATE CLUSTERED INDEX [AuditTable_Modified] ON [dbo].[AuditTable]
(
    [Modified] ASC
)WITH (PAD_INDEX = OFF,STATISTICS_NORECOMPUTE = OFF,SORT_IN_TEMPDB = OFF,DROP_EXISTING = OFF,ONLINE = OFF,ALLOW_ROW_LOCKS = ON,ALLOW_PAGE_LOCKS = ON) ON ThirteenMonthPartScheme (Modified)
GO

CREATE NONCLUSTERED INDEX [AuditTable_Col1_Col2_Col3_Col4_Modified] ON [dbo].[AuditTable]
(
    [Col1] ASC,[Col2] ASC,[Col3] ASC,[Col4] ASC,[Modified] ASC
)WITH (PAD_INDEX = OFF,ALLOW_PAGE_LOCKS = ON) ON ThirteenMonthPartScheme (Modified)
GO

移动代码

USE Audit_New
GO
DBCC TRACEON(610);

INSERT INTO AuditTable
SELECT * FROM Audit.dbo.AuditTable
WHERE Modified >= '6/1/2015'
ORDER BY Modified