博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
airflow问题合集
阅读量:2065 次
发布时间:2019-04-29

本文共 824 字,大约阅读时间需要 2 分钟。

文章目录

airflow task报错无日志

问题一:Process timed out, failed to import dag

在这里插入图片描述

$MODU_HOME/5-log/airflow/scheduler.log

airflow.exceptions.AirflowException: dag_id could not be found: dw_daily_load_job. Either the dag did not exist or it failed to parse.

在这里插入图片描述

进展

  • 已解决

解决方案

  • 修改airflow.cfg里的dagbag_import_timeout,从30改成300
    在这里插入图片描述

问题二:sqlalchemy: Deadlock found when trying to get lock

在这里插入图片描述

在这里插入图片描述

进展

  • 未解决

相关文档

  • 看这篇 https://issues.apache.org/jira/browse/AIRFLOW-2516
  • https://issues.apache.org/jira/browse/AIRFLOW-2660
  • https://stackoverflow.com/questions/41015813/avoiding-mysql-deadlock-when-upgrading-shared-to-exclusive-lock

已知问题

  • airflow 1.9.0 默认UTC,改其他时区不生效

    https://stackoverflow.com/questions/48194000/apache-airflow-1-9-default-timezone-set-to-non-utc

  • airflow 1.9.0设置priority weight不生效

    https://stackoverflow.com/questions/54366037/airflow-tasks-priority-not-honored

转载地址:http://njwmf.baihongyu.com/

你可能感兴趣的文章
(PAT 1061) Dating (字符串处理)
查看>>
(PAT 1118) Birds in Forest (并查集)
查看>>
数据结构 拓扑排序
查看>>
(PAT 1040) Longest Symmetric String (DP-最长回文子串)
查看>>
(PAT 1145) Hashing - Average Search Time (哈希表冲突处理)
查看>>
(1129) Recommendation System 排序
查看>>
PAT1090 Highest Price in Supply Chain 树DFS
查看>>
(PAT 1096) Consecutive Factors (质因子分解)
查看>>
(PAT 1019) General Palindromic Number (进制转换)
查看>>
(PAT 1073) Scientific Notation (字符串模拟题)
查看>>
(PAT 1080) Graduate Admission (排序)
查看>>
Play on Words UVA - 10129 (欧拉路径)
查看>>
mininet+floodlight搭建sdn环境并创建简答topo
查看>>
【UML】《Theach yourself uml in 24hours》——hour2&hour3
查看>>
【linux】nohup和&的作用
查看>>
【UML】《Theach yourself uml in 24hours》——hour4
查看>>
Set、WeakSet、Map以及WeakMap结构基本知识点
查看>>
【NLP学习笔记】(一)Gensim基本使用方法
查看>>
【NLP学习笔记】(二)gensim使用之Topics and Transformations
查看>>
【深度学习】LSTM的架构及公式
查看>>