홈

SKKU Notification bot DAG 파일이 점점 거대해져서 쪼개고 싶었는데, 결국 그렇게 했다. TaskGroup을 이용해서 디스코드 메시지 구성 부분이랑 전송 부분을 하나로 묶고, 파이썬 함수로 반환하게 했다. 지금은 task_group/discord_notify.py에 해당 부분을 작성했다. def discord_post_notify( http_conn_id: str, post: Union[str, Iterable[Dict]], dag: DAG, channel: str = "", date: Optional[str] = None, **kwargs, ) ->...

Airflow on Raspberry PI 주문한 라즈베리파이가 와서 Ubuntu server로 세팅을 끝냈다. 근데 두 가지 문제가 생겼다. 내 생각보다 쿨러가 시끄럽다. 라즈베리파이는 arm64 아키텍처인데, Airflow 도커 이미지가 amd 아키텍처 밖에 지원을 안한다. 나는 몰랐는데 이미지랑 호스트의 아키텍처가 다르면 컨테이너가 올라가지 않는다. 1번의 경우 5V 쿨러를 3.3V에 연결하니까 쿨링 속도는 줄었는데 소리는 전혀 나지 않았다. 문제는 2번이다. 도커로 띄우지 못하면 로컬에서 Airflow를 실행시켜야 한다. 어차피 Postgres나 Redis의 경우 arm을 지원하는것 같아서 이거...

SKKU Notification bot 오늘 성대 공식 디스코드 채널에 봇 초대 URL을 올리고 봇을 초대해 달라고 했다. 3일간의 테스트를 거친 후에 공식적으로 채널에 배포될 것 같은데, 그동안 해야할 일이 많다. 우선 첫 번째로, 라즈베리파이 서버를 세팅해서 거기에 이식해야한다. 서버라고는 했지만 일단 외부 노출까지는 딱히 필요없으므로 포트 포워드 세팅 같은건 당장은 필요 없을 것 같다. 문제는 라즈베리파이 세팅이다. 임베디드 수업 때 전 굽던거 생각하면 치가 떨리는데 custom linux 같은 변태 같은걸 썼었으니 그렇게 헤매던것도 이번엔 공식 OS 같은걸 사용하면 좀 세팅이 원활하지 않을까 싶다. 두 ...

Github 블로그 깃헙 블로그는 처음 써보는지라 사람들이 하라는대로 jekyll을 써서 블로그를 만들었다. 마크다운 형식은 좀 써봤지만 아직 덜 익숙한 것 같다. 그래도 확실히 익숙해지면 작업 속도는 빠를듯. SKKU Notification bot 공지사항 봇의 DAG는 대충 틀이 잡혔다. 기본적으로 slack이나 discord에 메시지 쏴주는 것 까지 기능 구현이 다 되었다. 이 과정에서 Discord bot operator를 새로 만들었다. 이제 세부사항을 좀 더 디벨롭 시켜야한다. 예를 들어.. 지금 DAG의 주기는 1일인데 이걸 1시간 이내로 줄일 계획이다. 아무래도 공지사항 알람을 받는 사람들은 봇이...