전체 글
-
네이버 DAN24 플링크와 아이스버그를 활용한 데이터 웨어하우스 세션 정리Review 2025. 1. 19. 02:24
DAN24DAN은 platform의 한국어 표현으로 네이버가 공유하는 플랫폼의 역할과 비전을 공유하는 네이버의 통합 컨퍼런스라고 한다. 근데 이왕 한국어표현을 가져올거면 DAN까지 단이라고 하지..처음에는 데이터 어쩌구 네이버의 줄인말인줄 알았다.아무튼 네이버 컨퍼런스가 열린다는 소식을 듣고 신청을 하려고했는데 추첨제가 아닌 선착순이었고 무려 5분도 채 되지 않아서 접수가 마감되었다는 소식에 허탈함과 함께 컨퍼런스 영상이 올라오기만을 기다렸다.그리고 드디어 컨퍼런스 영상이 올라왔고 세션들 중에서 제일 보고싶었던 해당 세션을 보고 내용을 정리해봤다. 사실 여러 다른 세션들도 정리하고 싶었으나 이번 컨퍼런스는 ML이나 AI에 많이 초점이 맞춰지고 내가 관심있는 엔지니어링 분야쪽은 그렇게 많지 않았어서 결과적..
-
2024년 결산 및 회고 그리고 2025년 계획log 2025. 1. 5. 23:38
매해 블로그를 통해서 한해를 마무리하고 한해를 되돌아보는 글을 쓰고 그리고 그안에 인상깊었던 사건들과 그리고 인상깊게 보았던 창작물들을 나름 시상식 느낌처럼 시상하면서 마무리하곤 했다.올해도 역시 어김없이 올해 가장 인상깊었던 사건들과 어떻게 지냈는지를 회고하고 올해 보았던 작품들과 또 그 작품들에 대해서 베스트 워스트를 꼽고 마지막으로 해가 바뀌어 올해 2025년은 어떤 마음가짐과 계획을 가지고 움직여야할지를 다짐과 함께 남기며 다시한번 공증받으려고 한다.우선 2024년에 기억나는 가장 큰 몇가지 사건들을 나열해보려고 한다.격정적인 해 2024년2024년은 되돌아봤을 때 나에게 감정적으로 가장 큰 격동의 시기였지 않나 싶다. 인생에 있어서 가장 큰 슬픔을 맞이하게 된, 그런 일이 있다면 지금은 아니고 ..
-
dbt Meetup에서 'dagster로 알아보는 dbt'를 주제로 발표한 후기log 2024. 12. 22. 23:29
데이터 오케스트레이션 dagster와 dbt에 대해서 알아보기dagster데이터 오케스트레이션을 강조하는 스케줄러op로 파이프라인의 잡을 정의하며 op로 이어놓은 workflow들은 job으로 구현한다각각 op와 job은 데코레이터로 정의된다하나의 스크립트에 다수의 pblog.metafor.kr처음 스피커 제안을 받은 것은 저번달, 데이터 오케스트레이션 dagster와 dbt에 대해서 알아보기라는 블로그 포스팅에 댓글이 시초였다.서울 dbt 커뮤니티 관리자 혜릭님께서 밋업 스피커로 모시고싶다는 댓글을 받고 고민하다가 연말을 장식하는 이벤트이자 나에게 좋은 기회가 될 수 있을 것 같아서 메일로 연락을 주고 받았다.필요한 톤앤매너와 주제를 확정하고 최종적으로 dagster로 알아보는 dbt라는 주제로 dbt..
-
개발자가 영어도 잘해야 하나요?Review/Book 2024. 11. 24. 02:26
사실 책 제목이 아닌 다른 제목으로 하고 싶었는데, 책 제목 자체가 이미 후킹하기에 좋은 내용으로 꾸며져있어서 그냥 그대로 책의 제목을 인용해서 이 글의 제목으로 하기로 결정했다.이 제목에 이끌려 이 글을 읽게 된 사람도 분명 있을 것이다. 나역시도 이 책을 그런 사유로 출판사에 리뷰이벤트 신청을 했고 운좋게 당첨되어서 이렇게 서평을 남기게 되었다.제목에 대한 이야기를 이어서하자면 “개발자가 영어도 잘해야 하나요?”대답에 대한 나의 개인적인 대답은 반드시 그렇지는 않다.다만 저자는 점차 원격근무가 활성화되고 초연결사회로 변화함에 따라서 글로벌화되면서 커리어 성장에 분명히 도움이 된다는 점을 강조하며 최신 개발 트렌드나 기술들은 언제나 항상 영어로 먼저 쓰여지기 때문에 영어는 개발 생산성을 향상시키는 도구..
-
나의 매일 아침을 깨우는 뉴스레터들log 2024. 10. 27. 02:15
나는 매일 아침 뉴스레터를 읽는 것으로 하루를 시작한다마치 거실에서 아버지가 아빠다리로 앉아서 신문을 정독하는 것처럼 나 또한 아침을 여는 루틴이 한가지가 있다. 매일 평일 아침에 나는 메일과 함께 omnivore를 통해 피드들을 읽는 것이다. 옴니보어는 사용자가 웹에서 읽고 싶은 컨텐츠를 저장하고 관리할 수 있도록 돕는 무료 오픈 소스 어플리케이션이다.이 프로그램으로 기사나 뉴스레터, 문서 등을 저장하고 나중에 읽을 수 있도록 정리하는 기능을 제공하는 흔히 말하는 Read–it-Lator 앱이다.웹스크래핑뿐만이 아니라 다양한 플랫폼을 지원해서 모바일이나 테블릿과 같은 다양한 환경에서 피드들을 확인할 수 있으며 옵시디언과 연동하여 스크랩한 기사나 피드들을 글에 인용하거나 스크랩하기도 편리하다.옴니보어에 ..
-
글또 10기를 참여하며 가다듬는 마음가짐 기록log 2024. 10. 12. 01:24
글또를 만나게 된 계기처음 내가 글또를 알게 된 것은 내가 구독하고 있는 daily Dev Blog라는 메일링 서비스에서 였다. 이 메일링 서비스들은 개발 블로그들을 큐레이팅해서 매일마다 해당 블로그에 피드에 글을 쓰면 자동으로 아침에 목록들을 발송해주는 서비스다. 오랫동안 해당 서비스를 구독해오면서 특정 기간동안에 글또라는 명사가 들어간 글들이 한창 많이 올라오던 때가 있었다. 그래서 궁금해서 몇 번 그런 글들을 찾아보고 글또라는 명사에 대해서 검색해보고나서야 글또가 글쓰는 또라이가 세상을 바꾼다는 슬로건으로 6개월동안 지원자들이 각기 블로그에 2주에 1회 이상 글을 의무적으로 작성하는 커뮤니티 프로젝트다.글또에 참여한 사람들은 서로 피드백도 주고받고 글을 작성하지 않아서 얻게되는 예치금 패널티를 받지..
-
데이터 오케스트레이션 dagster와 dbt에 대해서 알아보기Review 2024. 7. 9. 23:08
dagster데이터 오케스트레이션을 강조하는 스케줄러op로 파이프라인의 잡을 정의하며 op로 이어놓은 workflow들은 job으로 구현한다각각 op와 job은 데코레이터로 정의된다하나의 스크립트에 다수의 pipeline을 포함할 수 있으며 이를 통해 여러 workflow를 구현가능하다→하나의 스크립트를 repository라 정의각각의 op는 별도의 input과 output을 가질 수 있으며, op간 변수 상속이 가능하다Op: 가장 작은 단위로, 개별 작업을 수행한다.Asset: job의 결과물로 생성된 데이터 또는 자료Job: 여러 op를 결합하여 특정 작업을 수행한다. job은 op 간의 실행 순서를 정의한다op와 asset은 task 단위라는 성격은 같지만 프로세싱하는 주체의 유무와 데펜던시의 업다..
-
스파크에서 지원하는 압축 알고리즘 비교Programming 2024. 6. 26. 23:54
압축 알고리즘 비교Configuration - Spark 3.5.1 Documentation Configuration - Spark 3.5.1 DocumentationSpark Configuration Spark provides three locations to configure the system: Spark properties control most application parameters and can be set by using a SparkConf object, or through Java system properties. Environment variables can be used to set per-macspark.apache.org현재 스파크 3.5 기준 압축 알고리즘으로 snappy, g..