使用 Sqoop 合併通過增量匯入匯入的資料集

Sqoop 增量匯入由於稱為 CDC 即變更資料捕獲的現象而出現**。**現在什麼是 CDC？

CDC 是一種設計模式，可捕獲單個資料更改，而不是處理整個資料。相反，我們的傾倒整個資料庫，使用 CDC 的，我們可以捕捉只是主資料庫所做的資料更改。

例如：如果我們面對的是一個資料問題，比方說，1 分十萬的資料項進入了 RDBMS 每天，我們必須得到一個每天都在 Hadoop 中這個資料，那麼我們會想剛剛拿到新新增的資料，作為匯入每天向 Hadoop 提供的完整 RDBMS 資料將是一個開銷，也會延遲資料的可用性。有關詳細說明，請通過此連結。