系列文章目录 前言 一、是什么它是一个开源工作流平台, 此平台是由相关方开发的, 其使用特定方式编写。它基于DAG也就是有向无环图来开展任务管理, 借助这种方式能够便利地达成任务的调度, 以及监控与管理事项。和诸如等传统任务管理工具相比, 它不但解决了任务依赖方面的问题, 而且还能够便利地去查看任务处在执行时的状况, 追踪任务以往的执行情况, 并且在任务执行遭遇失败之际能够发送邮件予以通知, 还能查看错误日志。具有与Hive、MySQL、HDFS等数据源进行交互的本事, 并且给出了钩子hook让其拥有不错的扩展性能。除开用命令行之外, 还给出了一处Web用户界面, 能以可视化方式来查看依存关系、监测进度、触发任务等。架构里含有元数据库、调度器、执行器等组件, 元数据库用来存储有关任务状态的信息, 调度器常常当作服务运行, 执行器负责执行任务, 这致使能够在可扩展的生产环境里高效运转。总体来讲, 它是一个具备强大功能以及具备灵活性的工作 流平台, 适宜用于各类有着任务调度需求以及有着监控需求的场景。不管是数据处理方面、机器学习方面, 亦或是其他复杂的业务流程方面, 它都能够给出有效的解决办法。官方地址二、使用步骤 1.安装使用首先, 请将您的系统之上已安装予以确保。您能够借助于在终端之中运行以下这一命令来对您的版本进行检查:python --version保证您已然安装了pip, 于终端里运行以下命令去查验是不是已经安装了pip:pip --version一旦确定您已然安装了跟pip, 您能够运用pip去安装。于终端里运行如下命令对其进行安装:pip install apache-airflow完成安装这个动作之后, 您是需要去对数据库进行初始化的操作的。在终端这种环境里面, 要去到希望用来搁置存储数据库的那个目录处 users 会经历一系列情况接下来是xxxx中间经过xxxx再之后是xxx 角色是Admin 邮箱是 并运行下面这样的命令:airflow db init接下来, 您要启动的是元数据数据库, 于终端里, 前往您的目录, 接着运行以下命令:airflow webserver --port 8080最后您可以在另一个终端窗口中启动调度程序airflow scheduler2.修改配置官方推荐更改数据库和执行器vim airflow/airflow.cfg查询指令, 寻觅相应定位, 将原本的设置注解换成mysql设置连接, 增添执行器为本地执行器。/core重新初始化dbairflow db init再度重新启动, 便达成了配置, 鉴于先前替换数据库进行初始化db, 故而需再度创建Admin账号 用户, 角色为Admin, 邮箱为xxxx, 接着便可达成, 随后编写程序调度。总结用到关闭数据脚本能够带来一连串的益处, 这些益处主要展现于以下几个层面, 这些层面分别是, 这些层面具体的情况是, 这些层面相关的情形是。管理与调度任务: 给出了一个平台, 能致使使用者可以去定义、调度以及监控数据脚本的执行。凭借此, 能够便利地设定任务的依赖关系, 并且依照这些依赖关系按序执行任务。这极大地让任务管理的流程简单化了, 可让数据脚本的执行更具效率以及更有序。自动化和可靠性: 可将数据脚本的执行流程自动化, 减小了手动干预的需求。与此同时, 它给出了任务重试、错误处理以及SLA这种服务级别协议约束等功能, 进而保证了任务的可靠性。即便特定任务执行遭遇失败情形, 也能够实现自动重试或者促使对应的错误处理机制被触发。可视化方面以及监控范畴: 给出了一个具备使用便捷特性的Web用户界面, 致使使用者能够以一种直观的方式去查看任务的执行状况、历史记录以及依赖关系。这给数据脚本的监控以及管理带来了更为简易且直观的效果。借助Web界面, 用户能够便利地看清任务的进程、日志及统计信息, 进而及时察觉问题并予以处理。扩展性方面, 具备强大的扩展性, 极其灵活, 能够轻易地集成第三方工具, 以及库, 得以满足各类复杂场景之下的需求。与此同时的, 它更供给了丰富的操作符, 还有插件架构, 致使用户能够自行定义操作符, 以及传感器, 以此适应不一样的数据处理需求。版本控制跟协作方面, 运用, 你能够把数据脚本, 及其依赖关系, 存于版本控制系统之中像是Git, 因此达成版本控制, 以及协作开发。这对团队成员之间的协作, 还有沟通有帮助, 保证数据脚本的一致性, 以及可维护性。综合以上所述, 运用关闭数据脚本能够带来任务管理的简单顺畅、自动执行呈现、可靠任务保障、可视化监控体现以及扩展性与灵活性的提升等诸多益处, 这些益处致使其成为数据工程以及数据科学领域里流行的工作流程管理工具当中的一个。