Amazon Redshift 是一個(gè)強(qiáng)大的云原生數(shù)據(jù)倉(cāng)庫(kù)解決方案。但 AWS Redshift
上手難度較大，對(duì)知識(shí)儲(chǔ)備要求較高，設(shè)計(jì)和優(yōu)化相當(dāng)復(fù)雜。作為云數(shù)據(jù)倉(cāng)庫(kù)，AWS Redshift
沒有本地倉(cāng)庫(kù)操作快速便捷。使用云端Redshift服務(wù)，您無(wú)需管理龐大的服務(wù)器集群，分析數(shù)據(jù)的成本不到傳統(tǒng)解決方案的十分之一，也能和您現(xiàn)有的BI產(chǎn)品集成。使用Redshift服務(wù)有眾多的優(yōu)勢(shì)。
AWS Redshift遷移：http://www.xcwl17.com/zt/2023-05-06/
一、Amazon Redshift 的優(yōu)勢(shì)
1、完全托管，快速上手：使用Redshift云服務(wù)，您可以根據(jù)業(yè)務(wù)需要在幾分鐘內(nèi)建立幾個(gè)到幾十個(gè)節(jié)點(diǎn)的數(shù)據(jù)倉(cāng)庫(kù)集群，立刻開始您的數(shù)據(jù)分析的任務(wù)，也能根據(jù)需求隨時(shí)增加或減少集群資源。Redshift是完全托管平臺(tái)，承擔(dān)了大量的集群管理、數(shù)據(jù)庫(kù)管理、監(jiān)控、集群健康檢查、備份、升級(jí)等工作，讓您能專注業(yè)務(wù)分析，無(wú)需花大量時(shí)間在服務(wù)器管理，安全及數(shù)據(jù)備份等工作上。
2、為數(shù)據(jù)倉(cāng)庫(kù)而優(yōu)化的架構(gòu)：Amazon Redshift基于企業(yè)級(jí)PostgreSQL數(shù)據(jù)庫(kù)，有大規(guī)模并行處理 (MPP)
架構(gòu)，MPP可以通過將數(shù)據(jù)分布到各個(gè)計(jì)算節(jié)點(diǎn)來解決海量數(shù)據(jù)的處理難題。在Redshift中，每個(gè)集群有1個(gè)管理節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)，集群內(nèi)部使用私有、高速、
低延時(shí)的網(wǎng)絡(luò)連接。每個(gè)計(jì)算節(jié)點(diǎn)都有單獨(dú)的CPU，內(nèi)存和附加存儲(chǔ)，并且每個(gè)計(jì)算節(jié)點(diǎn)有多個(gè)分區(qū)，您的數(shù)據(jù)被分布保存在計(jì)算節(jié)點(diǎn)的多個(gè)分區(qū)內(nèi)，因此每個(gè)分區(qū)的數(shù)據(jù)量大大減少，您的查詢會(huì)在多個(gè)分區(qū)并行執(zhí)行，大大的增加了查詢的效率。
3、高性能：很多用戶使用Redshift獲得了幾十倍甚至上百倍的查詢加速，Redshift能為您提供非常高效的查詢性能，除了專為數(shù)據(jù)倉(cāng)庫(kù)而優(yōu)化的架構(gòu)外，
4、成本低：使用Redshift無(wú)需昂貴的服務(wù)器及管理人員成本，僅按使用量付費(fèi)，并且可以通過購(gòu)買預(yù)留實(shí)例來進(jìn)一步減少成本，實(shí)際成本只有傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)分析的十分之一。
5、安全：創(chuàng)建Redshift集群的時(shí)候，可以選擇啟用加密來保護(hù)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，啟用加密后，所有的數(shù)據(jù)庫(kù)、系統(tǒng)表及備份數(shù)據(jù)都會(huì)被加密，保障了數(shù)據(jù)的安全。連接Redshift的時(shí)候，您也可以使用SSL連接，保障網(wǎng)絡(luò)傳輸安全。另外AWS也通過身份管理IAM，虛擬網(wǎng)絡(luò)VPC，防火墻安全組等保護(hù)您數(shù)據(jù)的安全
。
6、查詢分析：您的應(yīng)用及工具使用標(biāo)準(zhǔn)的SQL連接Redshift，這意味著開發(fā)人員無(wú)需為數(shù)據(jù)分析學(xué)習(xí)新的技能，您也能使用市場(chǎng)上支持SQL的報(bào)表分析工具進(jìn)行數(shù)據(jù)的分析。Redshift和很多主流的BI工具的整合已經(jīng)得到了驗(yàn)證，您可以在AWS的Market
Place中尋找合適的BI方案，完成您的數(shù)據(jù)分析及報(bào)表工作。
不管您的數(shù)據(jù)是否在云中，都能輕松的使用Redshift分析現(xiàn)有數(shù)據(jù)，對(duì)于傳統(tǒng)的沒有使用云的用戶，只需要先將數(shù)據(jù)文件上傳到AWS中。AWS提供了多種途徑將云中的數(shù)據(jù)加載到Redshift中。
二、如何將數(shù)據(jù)倉(cāng)庫(kù)從AWS Redshift遷移?
使用本地舊版數(shù)據(jù)倉(cāng)庫(kù)時(shí)，擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)的大小或提高性能可能意味著購(gòu)買新硬件或添加功能更強(qiáng)大的硬件。這通常既昂貴又耗時(shí)。要運(yùn)行自己的本地?cái)?shù)據(jù)倉(cāng)庫(kù)，還需要聘請(qǐng)數(shù)據(jù)庫(kù)經(jīng)理和管理員來處理中斷、升級(jí)和數(shù)據(jù)訪問請(qǐng)求。隨著企業(yè)愈發(fā)依賴數(shù)據(jù)，對(duì)集中式數(shù)據(jù)的可靠訪問變得越來越重要。
遷移過程
在此部分中，我們將查看遷移過程的三個(gè)高級(jí)步驟。兩步式遷移策略和波浪式遷移策略涉及所有三個(gè)遷移步驟。但是，波浪式遷移策略包括多次迭代。因?yàn)橐徊绞竭w移僅適用于無(wú)需連續(xù)操作的數(shù)據(jù)庫(kù)，所以該遷移過程中只涉及到步驟
1 和步驟 2。
步驟 1：轉(zhuǎn)換架構(gòu)和主題區(qū)域
在此步驟中，您可以使用架構(gòu)轉(zhuǎn)換工具(如 AWS Schema Conversion Tool(AWS SCT)，以及 AWS
合作伙伴提供的其他工具)轉(zhuǎn)換源數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，從而使源數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)與 Amazon Redshift
架構(gòu)兼容。在某些情況下，您可能還需要使用自定義代碼來執(zhí)行復(fù)雜的架構(gòu)轉(zhuǎn)換。我們將在后面的部分中深入探討 AWS SCT 和遷移最佳實(shí)踐。
步驟 2：初始數(shù)據(jù)提取和加載
在此步驟中，您將完成初始數(shù)據(jù)提取，并將源數(shù)據(jù)首次加載到 Amazon Redshift
中。如果您的數(shù)據(jù)大小和數(shù)據(jù)傳輸要求允許通過互聯(lián)的網(wǎng)絡(luò)傳輸數(shù)據(jù)，則您可以使用 AWS SCT 數(shù)據(jù)提取器從源數(shù)據(jù)倉(cāng)庫(kù)中提取數(shù)據(jù)，并將數(shù)據(jù)加載到 Amazon S3
中。或者，如果存在網(wǎng)絡(luò)容量等限制，您可以將數(shù)據(jù)裝入 Snowball，然后將數(shù)據(jù)加載到 Amazon S3。當(dāng)源數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)在 Amazon S3
上可用時(shí)，它就會(huì)加載到 Amazon Redshift 中。如果源數(shù)據(jù)倉(cāng)庫(kù)原生工具能夠比 AWS SCT
數(shù)據(jù)提取器更好地完成數(shù)據(jù)卸載和加載作業(yè)，可以選擇使用原生工具來完成此步驟。
步驟 3：差異或增量加載
在此步驟中，您將使用 AWS SCT，有時(shí)也可使用源數(shù)據(jù)倉(cāng)庫(kù)原生工具來捕獲差異數(shù)據(jù)或增量數(shù)據(jù)，并將其從源加載到 Amazon
Redshift。這通常被稱為更改數(shù)據(jù)捕獲(CDC, Change Data Capture)。CDC
過程捕獲在數(shù)據(jù)庫(kù)中所做的更改，并確保將這些更改復(fù)制到目標(biāo)位置，例如數(shù)據(jù)倉(cāng)庫(kù)。
現(xiàn)在，您應(yīng)該掌握了足夠的信息，可以開始為數(shù)據(jù)倉(cāng)庫(kù)制定遷移計(jì)劃。在接下來的部分中，我將深入探討幫助您將數(shù)據(jù)倉(cāng)庫(kù)遷移到 Amazon Redshift 的
AWS 服務(wù)，以及使用這些服務(wù)加速成功交付數(shù)據(jù)倉(cāng)庫(kù)遷移項(xiàng)目的最佳實(shí)踐。
數(shù)據(jù)倉(cāng)庫(kù)遷移服務(wù)
數(shù)據(jù)倉(cāng)庫(kù)遷移涉及到使用一系列的服務(wù)和工具來支持遷移過程。首先，您將創(chuàng)建數(shù)據(jù)庫(kù)遷移評(píng)估報(bào)告，然后使用 AWS SCT 將源數(shù)據(jù)架構(gòu)轉(zhuǎn)換為與 Amazon
Redshift 兼容的架構(gòu)。要遷移數(shù)據(jù)，您可以使用與 AWS Data Migration Service(AWS DMS)集成的 AWS SCT
數(shù)據(jù)提取工具，創(chuàng)建和管理 AWS DMS 任務(wù)以及編排數(shù)據(jù)遷移。
要通過源與 AWS 之間的互聯(lián)網(wǎng)絡(luò)傳輸源數(shù)據(jù)，您可以使用 AWS Storage Gateway、Amazon Kinesis Data
Firehose、Direct Connect、AWS Transfer Family 服務(wù)、Amazon S3 Transfer Acceleration
以及 AWS DataSync。對(duì)于涉及大量數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)遷移，或者如果互聯(lián)網(wǎng)絡(luò)容量有限，您可以使用 AWS Snow Family
服務(wù)傳輸數(shù)據(jù)。通過這種方法，您可以將數(shù)據(jù)復(fù)制到設(shè)備，然后將設(shè)備送回 AWS，通過 Amazon S3 將數(shù)據(jù)復(fù)制到 Amazon Redshift 中。
對(duì)于幫助您加快數(shù)據(jù)倉(cāng)庫(kù)向 Amazon Redshift 的遷移，AWS SCT 是一項(xiàng)必不可少的服務(wù)。我們來更深入地研究一下。
使用 AWS SCT 進(jìn)行遷移
AWS SCT 可自動(dòng)執(zhí)行將數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)轉(zhuǎn)換為 Amazon Redshift
數(shù)據(jù)庫(kù)架構(gòu)的大部分流程。由于源數(shù)據(jù)庫(kù)引擎和目標(biāo)數(shù)據(jù)庫(kù)引擎可能會(huì)有許多不同的特性和功能，因此 AWS SCT
會(huì)嘗試盡可能在目標(biāo)數(shù)據(jù)庫(kù)中創(chuàng)建等效的架構(gòu)。如果無(wú)法直接轉(zhuǎn)換，AWS SCT
會(huì)創(chuàng)建數(shù)據(jù)庫(kù)遷移評(píng)估報(bào)告來幫助您轉(zhuǎn)換架構(gòu)。數(shù)據(jù)庫(kù)遷移評(píng)估報(bào)告提供了有關(guān)從源數(shù)據(jù)庫(kù)到目標(biāo)數(shù)據(jù)庫(kù)的架構(gòu)轉(zhuǎn)換的重要信息。該報(bào)告匯總所有模式轉(zhuǎn)換任務(wù)，并針對(duì)無(wú)法轉(zhuǎn)換為目標(biāo)數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)引擎的架構(gòu)對(duì)象，詳細(xì)說明了操作項(xiàng)。該報(bào)告還針對(duì)為無(wú)法轉(zhuǎn)換的架構(gòu)在目標(biāo)數(shù)據(jù)庫(kù)中編寫等效代碼的工作，估算了所需的工作量。
存儲(chǔ)優(yōu)化是數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)換的重中之重。使用您的 Amazon Redshift 數(shù)據(jù)庫(kù)作為源，將測(cè)試 Amazon Redshift
數(shù)據(jù)庫(kù)作為目標(biāo)，AWS SCT 可以推薦用于優(yōu)化數(shù)據(jù)庫(kù)的排序鍵和分配鍵。
借助 AWS SCT，您可以將以下數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)轉(zhuǎn)換為 Amazon Redshift：
在 AWS，我們將不斷發(fā)布新功能和增強(qiáng)功能來改進(jìn)產(chǎn)品。有關(guān)最新支持的轉(zhuǎn)換，請(qǐng)?jiān)L問 AWS SCT 用戶指南。
使用 AWS SCT 數(shù)據(jù)提取工具遷移數(shù)據(jù)
您可以使用 AWS SCT 數(shù)據(jù)提取工具，從本地部署數(shù)據(jù)倉(cāng)庫(kù)中提取數(shù)據(jù)并將其遷移到 Amazon Redshift。代理會(huì)提取您的數(shù)據(jù)并將數(shù)據(jù)上傳到
Amazon S3，對(duì)于大規(guī)模遷移，可以將數(shù)據(jù)上傳到 AWS Snowball Family 服務(wù)。然后，您可以使用 AWS SCT 將數(shù)據(jù)復(fù)制到 Amazon
Redshift。Amazon S3 是一種存儲(chǔ)和檢索服務(wù)。要在 Amazon S3 中存儲(chǔ)對(duì)象，您需要將所存儲(chǔ)的文件上傳到 S3
存儲(chǔ)桶。上傳文件時(shí)，您可以在對(duì)象上設(shè)置權(quán)限，也可以對(duì)任何元數(shù)據(jù)設(shè)置權(quán)限。
在涉及將數(shù)據(jù)上傳到 AWS Snowball Family 服務(wù)的大規(guī)模遷移中，您可以使用 AWS SCT
中基于向?qū)У墓ぷ髁鳎@樣數(shù)據(jù)提取工具可以自動(dòng)編排 AWS DMS 以執(zhí)行實(shí)際遷移的流程。
