Açık pozisyonlara dön
Veri analitiği ve yapay zekâ hizmetleri
Data Engineer
Uzaktan Tam zamanlı 2-5 yıl Lisans
Bu pozisyona başvurun Pozisyon özeti
Bir veri alanının pipeline'larına ve warehouse modellerine uçtan uca sahip çıkacak bir data engineer arıyoruz. Veriyi operasyonel sistemlerden analistlerin ve data scientist'lerin güvenebileceği modellere taşıyacak ve upstream'de bir şeyin biçimi değiştiğinde bunu onlardan önce fark eden kişi olacaksınız.
Temel sorumluluklar
- Bir veri alanının ingestion ve transformation'ına uçtan uca sahip çıkmak; bozulduğunda ne olacağı dahil.
- Batch ve streaming ingestion kurmak — Kafka topic'leri, PostgreSQL'den change data capture, API ve dosya kaynakları.
- Warehouse tablolarını staging'den mart'lara kadar dbt ile modellemek ve tüketicilerin dayandığı kontratlara sahip çıkmak.
- Airflow ile orkestrasyon: bağımlılıklar, backfill'ler, retry'lar ve tekrar çalıştırılması güvenli pipeline'lar.
- Tazelik, hacim ve şema testleri kurmak; yalnızca birinin aksiyon alacağı durumlarda alarm üretmek.
- Partitioning, incremental model ve makul dosya düzeniyle çalışma süresini ve maliyeti iyileştirmek.
- Şema evrimini, downstream'deki rapor ve modelleri sessizce bozmadan yönetmek.
- Tablolarınızı kullanan analist ve data scientist'lere destek olmak; belirtiyi değil modeli düzeltmek.
Aranan nitelikler
- Production'da veri pipeline'ı kurma konusunda 2-5 yıl deneyim.
- Başkasının bakımını üstlenebileceği şekilde yazılmış güçlü Python ve SQL.
- PostgreSQL ve en az bir cloud data warehouse ile uygulamalı deneyim.
- Production'da Airflow veya denk bir orkestratör; gerçek bir backfill çalıştırmış olmak dahil.
- Versiyon kontrolünde tutulan dbt veya benzeri bir transformation framework'ü.
- Warehouse'a giden Kafka veya başka bir streaming ya da change data capture yolu.
- Docker ve CI ile kendi işini deploy edebilecek rahatlık.
Tercih sebebi
- Büyük batch yükleri için Spark veya benzeri bir dağıtık işleme motoru.
- Veri altyapısını Terraform ile kurma deneyimi.
- Veri job'larının çalışma ortamı olarak Kubernetes.
- Iceberg veya Delta gibi lakehouse tablo formatları.
Sizi bekleyenler
- Rekabetçi maaş.
- Tamamen uzaktan — en verimli olduğunuz yerden çalışın.
- Kitap, kurs ve konferans için yıllık eğitim bütçesi.
- Üst düzey donanım ve yazılım aracı desteği.
- Özel sağlık sigortası ve esnek izin.
Bu pozisyona başvurun
CV'nizi ve kısa bir ön yazı gönderin. Size e-postayla döneceğiz.
Bu pozisyona başvurun