Written by Ju-eun Park
on 

2020년 정리 글

연말 맞이 정리 글입니다. 제가 써 온 달력과 일기와 연구 일지를 보며 월별로 무슨 일이 있었는지 정리했습니다. 각 달의 항목 안에서도 시간 순으로 쓰려고 노력했습니다.

2020년에는 박주은에게 무슨 일이 있었나 :thinking:

1월

랩미팅을 주 3회 했습니다. 실험이 뜻대로 되지 않고 있었습니다.

2월

논문 주제가 바뀌었습니다. Federated learning (FL) 을 공부하기 시작했습니다.

3월

개강했습니다. 1학기에는 세 과목을 들었습니다. 컴퓨터개론 과목 TA를 시작했습니다.

4월

뭘 한 걸까. 연구 일지를 봐야 알겠네요.

RND (random network distillation) 를 이용해서 FL 의 클라이언트 환경 정보를 요약하려는 시도를 하고 있었습니다. 요약한 정보를 바탕으로 RL 을 통해 FL 의 하이퍼파라미터 최적화를 하려는 아이디어가 있었는데, 사실 RL을 사용하기에는 한 스텝의 시간복잡도가 커서 현실적으로 불가능한 방법입니다.

스스로가 어떤 문제를 기호화해서 설명하는 방식에 익숙하지 않다는 것을 깨달았습니다. 기호화된 문제 정의를 이해하는 것에도요.

연구 일지를 짧게나마 매일 쓰자는 다짐을 하고, 시작했습니다.

5월

엣지 컴퓨팅 시스템에서의 FL과 RL을 주제로 해서 예심 대체서류를 제출했습니다.

아이디어를 시뮬레이션 실험하기 위한 프레임워크 코드를 작성하고 테스트하고 디버깅했습니다.

연구에 대한 주인의식이 없어지고 있다고 느꼈었습니다.

6월

아이디어와 비교할 SotA 베이스라인을 재현하기 위해 구현을 시작했습니다.

수업 과제를 하고 종강 준비를 했습니다. TA 일도 했습니다.

기존 아이디어의 일부를 수정해서 클라이언트의 환경 정보를 비교적 간단한 방식인 모델 간의 distance 로 구해보고자 하고, 이 정보를 이용해 FL의 하이퍼파라미터를 휴리스틱하게 선택해서 사용하는 방식을 실험해보기로 했습니다.

7월

새 아이디어에 이름을 붙여줬습니다. 논문을 어떻게 쓸지 오버리프에 틀을 잡기 시작했습니다.

공부와 실험과 논문 미팅을 계속 하지만 문제가 무엇인지도 정확히 모르고 잘 해결되지도 않는 나날이 계속되었습니다. 연구에 흥미를 잃고 대기업 입사 공고를 보고 이것 저것 서류를 써 보았습니다. 아직 졸업 준비가 다 된 게 아닌데도요.

텝스를 한 번 봤고 이 시험은 길이 아니라는 것을 깨달았습니다.

랩사람들이랑 파이토치 초급 스터디를 꾸려서 진행하기로 했습니다.

연구자가 되고 싶다는 예전의 마음이 진심인지 아닌지 헷갈렸습니다. 그래서 우선 지금까지 연구실 생활을 하면서 배운 점을 정리해 보았습니다.

8월

신청했던 코딩테스트를 몇 가지 치렀습니다. 한 회사에는 코딩테스트를 붙어서 과제테스트까지 갔지만 어려워서 끝까지 할 수 없었습니다. 다른 회사의 코딩테스트는 다 풀었다고 생각했지만 떨어졌습니다.

연구 진행에 진전이 없었습니다. 학석사 연계과정생이라 가능했던 조기졸업을 포기하고 정규졸업 학기수를 맞춰 졸업하기로 선택했습니다.

토익을 처음 봤는데 석사 졸업 기준에 한참 못 미치는 점수가 나왔습니다.

랩사람들과 함께 한 파이토치 스터디를 6회를 마지막으로 마무리 지었습니다.

연구실 책상 자리가 바뀌었습니다.

9월

토익 공부를 시작했습니다.

개강했고, 이번 학기에는 자료구조개론 과목 TA를 맡았습니다.

집 보증금 대출을 받았습니다. 적다면 적은 돈이지만 대출을 받고 집을 구하는 것은 좋은 경험이 되었습니다. 기숙사를 나왔습니다.

해석학이 필요하다고 느껴서 친구의 도움을 받아 책 앞부분을 조금 보기로 했습니다.

아주 임팩트 있는 면담을 하나 했습니다. ‘그럼에도 불구하고’ 아직도 내가 연구자가 될 수 있다는 희망을 스스로 버리지 않고 있다는 사실을 상기해내는 면담이었습니다.

6월에 시작했던 베이스라인을 구현하는 일이 계속 안 되고 있었고, 다른 방법으로 구현해보는 일을 몇 주 더 해보기로 결정했습니다.

10월

토익 공부를 시작한 지 6주 만에 시험을 쳤고, 원했던 점수를 얻었습니다.

아주 어려운 일에 대해 ‘내 일’이라는 생각을 하면 항상 완벽해야 할 것 같다는 강박 때문에 오히려 일이 잘 진전되지 않는다는 스스로의 특성을 발견했습니다. 어떤 일이 그냥 존재하고, 내가 거기에 참여한다는 식의 사고가 더 도움이 되었습니다.

다른 방법으로 베이스라인을 구현하기로 한 지 4주가 지났는데도 결과물이 나오지 않아서 문제 상황을 글로 써서 동료 분에게 보여주었습니다. 그 분이 도와주셔서 길을 조금 찾을 수 있었습니다.

친구가 도와준 덕분에 해석학 스터디를 4회 진행했고 덕분에 대체 이게 뭔가 하고 한 찻숟가락 맛보기를 할 수 있었습니다.

11월

페이퍼를 읽기 전에 앱스트랙과 인트로 일부를 읽고 이 페이퍼에서 궁금한 점을 미리 정리하는 습관을 들이기 시작했습니다.

연구에서 기존에 세웠던 가설에 문제가 있다고 생각하기 시작했습니다. 문제가 무엇인지 알아내기 위해서 어떤 것을 더 공부해야 하는지 알아봤습니다.

동료 분의 도움으로 결국 베이스라인이 구현됐습니다. 이를 테스트하고 디버깅하는 일을 반복했습니다. 베이스라인의 하이퍼파라미터에 문제가 있다고 생각해서 조정하며 실험해보다가 애초부터 반영이 안 되는 버그가 있는 것을 발견하는 데까지 시간이 걸렸습니다.

시뮬레이션 실험의 기반 모델을 바꾸기로 결정했습니다.

12월

시뮬레이션 실험 기반 모델을 바꾼 뒤의 베이스라인 코드에 11월에 있었던 것과 같은 버그가 있었습니다. 이번에는 더 빨리 발견해서 고칠 수 있었습니다.

실험 결과를 보며 기존에 세웠던 가설에 문제가 있다는 것을 더 확실히 알게 되었습니다. 좀 더 정교한 문제 정의가 필요하게 되었습니다. 무엇을 더 공부해야 할지 리스트를 만들었습니다.

학기를 마무리하는 TA 일을 했습니다.

연구에 지쳐간다는 것을 다시 깨달았습니다. 작년에는 안 썼던 회고 글을 올해에는 쓰기로 했습니다.

수업 :book:

1학기 때 들은 수업

1학기 TA

2학기 TA

졸업에 필요한 학점을 다 채워서 2학기 때는 아무 수업도 듣지 않았습니다.

정리 글의 후기 :sparkles:

저의 석사과정은 어디로 가고 있을까요? 제가 하기 나름인 것일 텐데요. 아직도 제자리인 것 같아 마음이 답답합니다 :pensive:.

회고하면서 보니 그래도 객관적으로 뭔가 한 게 있기는 한 것 같습니다 :open_mouth:. 예를 들어 연구 일지 매일 쓰기를 꽤 오랫동안 해 왔네요. 4월 말부터 했으니 벌써 8개월 째입니다. 졸업에 필요한 토익 점수도 마련했고요. 영어 읽기 실력도 꽤 늘었습니다. 수학 실력은 늘었는지 잘 모르겠습니다. 적어도 읽는 실력은 조금은 늘은 것 같습니다. 수학을 쓰는 실력은 여전히 부족하다고 느낍니다.

긍정적이려고 노력하는 사람입니다. 그러니 마지막 문단은 긍정적으로 쓰고 싶습니다. 내가 나 스스로를 잘 알고 나를 위해서 내 편이 되어주는 사람이었으면 좋겠어요. 내년에도 힘을 내십쇼 박주은 님 :no_mouth:. 그럼 이만 안녕입니다.