使用Apache-Airflow过程中常见问题及解决方案,提供学习Apache-Airflow相关资源,本博文持续更新
博客大版本更新
本次进行了博客大版本更新,其中包括:增加个人域名、更新到最新的NexT主题、更新到了最新的Hexo版本
GithubAPI更新导致Gitalk触发持续邮件提醒
春节这几天持续收到了Github关于部分弃用API的邮件提醒,一天就能收到五六封,但是由于但是没有很好的网络条件没有进行处理,现在回来广州可以进行处理了。
Airflow-钉钉消息dingdingOperator使用
Airflow 发送钉钉消息的 dingdingOperator 已经随着 Airflow 1.10.3 一起发布了, 有了 dingdingOperator 我们可以在 Airflow 中更优雅地发送钉钉消息,以及 任务 失败 成功 重试 sla过时等的通知.
背景
在较久之前,Airflow对消息系统的支持仅仅是email以及slack.国内习惯使用IM系统作为通知,email一般比较少.slack在国内的普及程度远远没有达到钉钉和微信的水平,所以就有了在Airflow中新加钉钉或者微信作为消息通知的功能
由于我司使用钉钉作为内部通信而非企业微信(好像只有企业微信才开放了webhook?),所以我只给Airflow增加了钉钉的 operator,相关PR在AIRFLOW-1526
Airflow 用户指南
如何加入Apache Airflow slack中国用户频道
这篇文章是介绍如何加入Airflow slack中国用户频道#user-china
'工资突然崩塌式下降是什么感受'有感
今天公交上读到工资突然崩塌式下降是什么感受? - 知乎突然内心涌起波澜.答主毕业时进入与专业对口,大家都羡慕的高薪行业,最要的是如果一直干可以到退休(如果我有这样的工作一定不会放弃,毕竟码农30岁是一个大坎).因为爱情选择了去女友的大城市发展,一开始工资有了提升,但是行业温水主青蛙式崩塌答主全然不知,最后被辞退,歇业了一段时间,当再次找到工作时工资下跌一半
2018年度总结-我还是小学生
今天是2019年1月11日,这是第一次在github page写年度总结,希望这不是最后一次,希望我能坚持下来.2018年是我毕业一来最为复杂的一年,也是最难的一年.好吧一共毕业才1年半,也验证了成年人的世界里没有容易这句话.