[TIL#2] 아직 배울게 너무 많은 데이터 과학자의 일주일

 

이번 주에 배운 것들

이번 주에 자잘 자잘하게 배운 것들을 모아봤다. 사실 배워야 할 것들을 모은 수준이다..! 😅

---

1. 새로운 프로젝트를 준비하며

내년에는 새로운 프로젝트를 시작할 계획인데, 사용할 수 있는 데이터셋이 또! 제한적이다. 이를 보완하기 위해 생성형 AI를 활용하는 방법을 알아봐야 해서 생성형 AI를 공부하라는 지시?를 받았다. 어디서 뭘 어디부터 봐야 할지 모르겠지만 다음 주에 한번 자료/유튜브 검색을 해보고 차근차근 배워야겠다. 배우고 준비를 해두어야 우리 프로젝트에 알맞은 생성형 AI가 나와도 빠르게 도입할 수 있기 때문!

2. 대규모 데이터와 자기지도학습 (Self-Supervised Learning)

우리 프로젝트와 연관있는 SSL을 사용하는 파운데이션 모델에 대해 읽고 있다. 이런 논문을 읽을 때마다 딥러닝의 답은 컴퓨팅+데이터 양인가 싶다.. 다 읽어보고 파인튜닝해서 우리 프로젝트에 한번 implement 해볼 예정이다.

3. 트랜스포머 XAI

우리 프로젝트 모델을 이해하기 위해 attention rollout 시각화를 했는데, 더 좋은 방법이 있다고 해서 논문 읽고 써볼 예정이다.

Relevance라는 개념에 대해 알게 되었다.

아래 사진은 내가 노트에 쉬운 예시로 정리한 내용이다.

• Gradient는 출력이 입력 변화가 출력에 미치는 영향을 나타낸다.
• Relevance는 출력값을 입력값으로 분배하는 방법이며, 입력이 출력에 얼마나 기여했는지 파악하는데 사용된다.

논문도 더 읽어보고 정리해서 올릴 예정이다.

 

4. 비전 트랜스포머의 아티팩트 문제

비전 트랜스포머(Vision Transformer)와 관련된 아티팩트에 대한 논문을 읽었다. 비전 트랜스포머를 사용한 특정맵에는 그리드 형식의 노이즈가 존재하는데 큼직한 class 분류하는 작업에는 큰 영향을 끼치지 않지만 segmentation 같이 픽셀단위로 중요한 작업에는 영향이 크다고 한다. 우리 프로젝트 classification이지만 미세한 차이로 class를 분류해야 해서 상관이 있을 수도..! 논문은 다 읽었으니 활용해봐야 한다.

논문 리뷰는 여기서: https://benn.tistory.com/71

[논문 리뷰 | CV] Denoising Vision Transformers

 

5. AI 뉴스

이번 주 듣거나 읽은 AI 뉴스:

 

• ChatGPT 웹 검색 기능: GPT에 실시간 웹 검색 기능이 생겼다. 22년도? 데이터에 머물었던 GPT에게 꽤나 큰 업데이트다. 아직 많이는 안 써봤지만 확실히 구글 서치는 덜 할 듯하다. 앞으로 paid search가 어떻게 될지 너무 궁금
• Google Gemini: 검색 결과 상단에 Gemini 출력이 나오던데.. 살벌한 경쟁..! 앞으로가 너무 궁금하다
• Apple’s Intelligence: 무료와 유료 버전을 출시하며 AI 시장에 본격적으로 뛰어드는 애플. 제발 시리부터 업데이트해주라!
• Chegg: AI로 인해 첫 번째로 큰 타격을 받은 기업이 뉴스에 등장했다! 앞으로 어떤 업계가 또 타격을 받을까..? 무섭
  
  

---

사실 TIL 포스트는 살짝 부담스럽다.

데이터 과학자로 일하면서 이걸 몰라? 생각이 들며 부끄러워서..

물론 뭔가 모르는 것에 대해 부끄러워하면 안 된다는 걸 머리로는 알지만 막상 올리기에 부담스러운 건 어쩔 수 없다.

그래도 이렇게 정리함으로서 나에게도 도움이 되고 남에게도 도움이 되겠지?

꾸준히 올려봐야지