Data Engineer

Responsibilities:

Design and Implement Data Pipelines: Create and maintain robust data pipelines using tools like Apache Airflow, Apache Kafka, and Snowflake.

Data Analysis and Processing: Perform data analysis and processing using Python and SQL to meet business needs.

System Architecture: Design and implement distributed data processing systems, ensuring scalability and reliability.

Workflow Management: Schedule and manage workflows using Apache Airflow or similar tools.

Monitoring and Optimization: Monitor data pipelines and optimize performance for efficiency and reliability.

Collaboration: Work closely with other teams to integrate data systems and ensure seamless data flow.

Requirements:

Technical Skills: Proficiency in Python, SQL, Apache Airflow, Snowflake, AWS, Apache Kafka, and Kubernetes.

Experience: Several years of experience in data engineering, with a proven track record of designing and implementing data solutions.

Problem-Solving: Strong analytical and problem-solving skills to address complex data challenges.

Communication: Excellent communication skills to collaborate with cross-functional teams.

Attention to Detail: Meticulous attention to detail to ensure data accuracy and integrity.