職位描述:
需具備在大數(shù)據(jù)和云平臺(tái)中設(shè)計(jì)和管理工作流自動(dòng)化系統(tǒng)的專業(yè)技能。能夠動(dòng)手實(shí)施基于 Airflow 的解決方案,并與跨職能團(tuán)隊(duì)合作。
主要職責(zé):
· 架構(gòu)和實(shí)施可擴(kuò)展、高效且易維護(hù)的 Airflow 工作流。
· 監(jiān)控、排查和優(yōu)化生產(chǎn)環(huán)境中的 Airflow 任務(wù)。
· 將 Airflow 與云服務(wù)(如阿里云 FunctionCompute、MaxCompute)集成。
· 確保工作流自動(dòng)化的安全性,包括身份驗(yàn)證和訪問控制(如 SSO、RAM 策略)。
· 為團(tuán)隊(duì)提供 Airflow 使用的最佳實(shí)踐和指導(dǎo)。
· 編寫技術(shù)文檔并清晰傳達(dá)技術(shù)概念。
崗位要求:
· 7年以上大數(shù)據(jù)和云解決方案領(lǐng)域的經(jīng)驗(yàn)。
· 熟練掌握 Airflow 和技術(shù)工具生態(tài)(如 Linux/Docker/K8S)。
· 擁有阿里云產(chǎn)品(如ECS、OSS、MaxCompute、Hologre等)的項(xiàng)目經(jīng)驗(yàn)。
· 熟練使用 Python、Shell 和 SQL 等編程語(yǔ)言。
· 熟悉安全技術(shù)(如 SSO、AD、SSL 和 RAM 策略)。
· 具備良好的邏輯思維能力、文檔編寫及英語(yǔ)讀、寫能力。
· 熟悉 GCP 者優(yōu)先。