Гүйцэтгэх үндсэн үүрэг
- Банкны олон эх үүсвэрээс ирэх өгөгдлийг найдвартай цуглуулж, цэвэрлэж, боловсруулах зорилгоор ETL/ELT процессыг төлөвлөж хөгжүүлэх.
- Их хэмжээний өгөгдлийг хадгалах, боловсруулах data warehouse болон data lake системүүдийг Apache, Hadoop болон бусад технологи, экосистем ашиглан байгуулж, үр ашигтай ажиллуулна.
- Дэвшилтэд технологиуд ашиглан өгөгдөлийн сан, системийн логууд, дижитал сувгуудын өгөгдлийг бодит цагийн горимоор боловсруулах streaming pipeline байгуулж, машин сургалтын загваруудад шаардлагатай өгөгдлийг тасралтгүй хангана.
- Банкны зохицуулалтын шаардлага, олон улсын стандартад нийцүүлэн өгөгдлийн чанар, хяналт, metadata удирдлага, өгөгдлийн lineage tracking системийг хөгжүүлж, өгөгдлийн найдвартай байдлыг баталгаажуулна.
- Өгөгдлийн урсгалыг Банкны дүрэм журам, өгөгдлийн нууцлалын дагуу өгөгдлийн найдвартай байдал, аюулгүй байдлыг хангаж, удирдлагын шийдвэр гаргалт болон зохицуулагч байгууллагын шаардлагад нийцүүлэн хөгжүүлэх.
- Query оновчлол, индексжүүлэлт, partition стратеги боловсруулан системийн гүйцэтгэлийг сайжруулж, шийдлүүдийг оновчилж, хэрэгжүүлэх.
- Apache экосистем ашиглан их хэмжээний өгөгдлийг боловсруулж, ажлын урсгалыг байгуулж, практик үйл ажиллагаанд нэвтрүүлэх.
- AWS, Azure эсвэл GCP (BigQuery, Dataflow) зэрэг cloud өгөгдлийн үйлчилгээнүүдийг ашиглан өгөгдлийн дэд бүтцийг cloud орчинд байгуулж, удирдах.
Ажлын байранд тавигдах шаардлага
- Python 2+ жилийн туршлагатай, өгөгдлийн сангийн үйл ажиллагаанд мэргэшсэн байх
- Их хэмжээний өгөгдлийг олон серверт хуваарилан үр ашигтай боловсруулах чадвартай байна.
- Бодит цагийн өгөгдлийн урсгал (data streaming) технологи ашиглан машин сургалт болон хиймэл оюун ухааны системүүдэд тасралтгүй өгөгдөл нийлүүлэх дэд бүтцийг төлөвлөж, хэрэгжүүлнэ.
- Docker, Kubernetes ашиглан аппликейшн контейнержүүлж, Git-ээр кодын хувилбар удирдах, CI/CD ажлын урсгал зохион байгуулж, MLflow-оор загварын урсгалыг удирдах чадвартай байх
- Relational DB, NoSQL зэрэг мэдээллийн сангуудтай ажиллаж, банкны өгөгдлийн санг зөв бүтэцтэй төлөвлөж, том хэмжээний өгөгдлийг боловсруулах чадамжтай байх.
- Англи хэлний ахисан түвшиний мэдлэгтэй байх.