oozie 入門
Oozie 是一個 Apache 開源專案,最初是在雅虎開發的。Oozie 是一個用於多級 Hadoop 作業的通用排程系統。
- Oozie 允許將相關 Hadoop 作業的邏輯分組形成一個名為
Workflow
的實體。Oozie 工作流程是動作的 DAG(定向迴圈圖)。 - Oozie 提供了一種使用名為
Coordinator
的實體來安排時間或資料相關工作流的方法。 - 此外,你可以將相關協調員組合到名為
Bundle
的實體中,並可以在 Oozie 伺服器上進行排程以執行。
Oozie 支援大多數 Hadoop Jobs 作為 Oozie Action Nodes,如:MapRedude
,Java
,FileSystem
(HDFS 操作),Hive
,Hive2
,Pig
,Spark
,SSH
,Shell
,DistCp
和 Sqoop
。它使用 Decision Control Node
動作提供決策功能,並使用 Fork-Join Control Node
並行執行作業。它允許使用者使用 Email
操作為工作流的成功/失敗通知配置電子郵件選項。