## 데이타 마법사 Apache Airflow와 Apache Spark 등 데이터 엔지니어링 관련 기술에 대한 경험을 공유합니다. 또한 오픈소스에 큰 관심이 있어 주기적으로 여러 프로젝트의 코드 베이스를 탐험하고 있으며, 이 경험도 함께 공유할 예정입니다. ## 작성한 글 ### Apache Airflow 1. [[DAG 파일이 Meta Database에 등록되는 과정]] ### Essay 1. [[삽질을 하다보면]] 2. [[Python을 넘어 Rust로]] 3. [[업무에서 쓰는 기술을 벼리자 - 날카롭게 만들고 체화시켜 몰입상태 유지하기]] ### 추구하는 것들 - 복잡한 것을 명료하게 만들기 - 고신뢰 Data Lake 플랫폼 달성 - 데이터 사용에 도움을 주는 Open Source 만들기 - Apache 재단 또는 RBIR 프로젝트 일원 되기(나도 받고 싶다 @apache.org 도메인..!) ### 생각들 - 컴퓨터와 하루 종일 시간을 보내지만, 0 또는 1에 너무 얽매이지 않으려 노력합니다. - 데이터 엔지니어의 전망은 매우 밝다고 생각합니다. 예전에는 사람이 활용하기 위한 데이터를 수집했다면, 이제는 AI가 활용할 데이터를 모으는 시대가 되었습니다. 앞으로는 AI가 수행할 작업이 훨씬 많아질 것이기 때문에 기업들은 더욱 다양한 종류의 데이터를 적극적으로 수집하게 될 것입니다. - [이 글과 일맥상통](https://news.hada.io/topic?id=26155&__readwiseLocation=)