Bee's 데이터 과학

[TIL#2] 아직 배울게 너무 많은 데이터 과학자의 일주일

이번 주에 배운 것들이번 주에 자잘 자잘하게 배운 것들을 모아봤다. 사실 배워야 할 것들을 모은 수준이다..! 😅1. 새로운 프로젝트를 준비하며내년에는 새로운 프로젝트를 시작할 계획인데, 사용할 수 있는 데이터셋이 또! 제한적이다. 이를 보완하기 위해 생성형 AI를 활용하는 방법을 알아봐야 해서 생성형 AI를 공부하라는 지시?를 받았다. 어디서 뭘 어디부터 봐야 할지 모르겠지만 다음 주에 한번 자료/유튜브 검색을 해보고 차근차근 배워야겠다. 배우고 준비를 해두어야 우리 프로젝트에 알맞은 생성형 AI가 나와도 빠르게 도입할 수 있기 때문!2. 대규모 데이터와 자기지도학습 (Self-Supervised Learning)우리 프로젝트와 연관있는 SSL을 사용하는 파운데이션 모델에 대해 읽고 있다. 이런 논문..

🔗 [arxiv]👨‍👩‍👧 Jiawei Yang, Katie Z Luo, Jiefeng Li, Congyue Deng, Leonidas Guibas, Dilip Krishnan, Kilian Q Weinberger, Yonglong Tian, Yue Wang📅 2024/01/05 🔖 논문 요약문제 정의: 비전 트랜스포머 (Vision Transformer, ViT)의 특성 맵에서 발생하는 격자 무늬의 노이즈 (위 이미지 'Original features')로 인해, dense prediction 작업에서 성능을 저하시킨다.제안된 방법: ViT 특성 맵에서 발생하는 노이즈를 제거하는 Denoising Vision Transformers (DVT)를 소개한다.핵심 결과: DVT를 통해 노이즈가 제..

이미지 히스토그램이란? 이미지 히스토그램은 이미지 내에서 픽셀 밝기 값의 빈도를 나타내는 그래프입니다. x축에는 0에서 255까지의 픽셀 밝기 값이 있고, y축에는 각 밝기 값에 해당하는 픽셀 수가 표시됩니다. 이 시각화는 이미지의 대비, 밝기, 그리고 밝기 분포를 분석하는 데 유용합니다. 컴퓨터 비전 전처리 단계에서 히스토그램을 활용해 밝기와 대비를 조정하면, 이미지의 특징을 더 잘 학습할 수 있도록 도울 수 있습니다. OpenCV 이미지 히스토그램 만들기아래 코드에서 cv2.calcHist() 함수를 통해 image.jpg의 히스토그램을 계산한 후, matplotlib 라이브러리를 사용하여 이미지 히스토그램을 출력하였다. cv2.calcHist(images, channels, mask, histSiz..

읽기 편하도록 추가 설명은 접은 글로 정리해 두었습니다. GPT와 같은 대규모 사전 학습 언어 모델은 다양한 다운스트림 작업에 활용된다. 예를 들어, GPT 모델을 의료 데이터를 사용해 추가로 훈련하여 의료 데이터를 분석하거나, 챗봇에 특화된 대화 능력을 강화하는 등 여러 방식으로 활용할 수 있다. 하지만 모델의 크기가 워낙 커서 기존의 훈련 방식으로는 효율적으로 학습시키기 어렵다. 이를 해결하기 위한 접근 중 하나인 LoRA는 모델의 파라미터를 고정한 채 빠르게 학습을 진행할 수 있게 한다.  🔗 [arxiv 링크]👨‍👩‍👧 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, We..

🎧 데이터 과학 팟캐스트 팟캐스트는 주로 출퇴근길에 듣다 보니, 요즘 재택근무를 거의 하면서 예전만큼 듣지 않게 되었다. 그러다 보니 여러 팟캐스트를 듣기보다는 하나로 정착하게 되었는데, 그중 꾸준히 듣고 있는 팟캐스트가 있어 소개하려 한다!이 팟캐스트는 영어로 진행되지만 유튜브 채널과 웹사이트도 있어서 텍스트 버전으로도 내용을 확인할 수 있다. 출퇴근길에 듣다가 궁금한 내용이 있으면 웹사이트에 들어가서 정리된 글을 읽거나 관련 뉴스를 찾아보곤 하는데, 이 과정이 정말 유익하다.유튜브 채널에 영상이 조금 느리게 올라오는 편이긴 하지만, 꾸준히 업데이트는 되고 있다.이 팟캐스트 진행자는 풀타임 직업을 가진 상태에서 이것을 사이드 프로젝트로 운영 중인데, 정말 존경스러울 따름이다. 나처럼 풀타임으로 일하고..

생성적 적대 네트워크 GAN이란?생성적 적대 신경망(Generative Adversarial Network, GAN)은 새로운 데이터를 생성하는 머신러닝 시스템입니다. 이 인공지능 기술은 실제와 거의 구별할 수 없는 이미지, 텍스트, 음성, 동영상을 만들어내는 능력을 가지고 있습니다.  예를 들어, 페이스북 팀이 개발한 ExGAN은 in-painting GAN의 일종입니다. 아래 이미지에서 첫 번째 열은 원본 이미지, 두 번째 열은 기존 in-painting GAN을 사용해 눈 부위를 생성한 결과이며, 세 번째와 네 번째 열은 페이스북의 ExGAN이 생성한 눈 이미지입니다.🖌 in-painting GAN이란 사진에서 지워진 부분을 채워 넣는 GAN의 한 종류입니다.    이외에도 GAN은 이미지 분야에..

데이터 과학자로서, 또는 딥러닝/머신러닝 전문가로서, 최신 동향을 파악하기 위해 많은 논문을 읽는 것은 필수입니다. 이 글은 앤드류 응 교수님의 강의를 토대로 논문을 효과적으로 읽는 방법을 정리한 내용입니다.  눈문 추천 사이트는 아래 글을 확인해보세요.https://benn.tistory.com/54 AI/머신러닝 논문 사이트 추천대학원 공부가 끝나고 나태해지는 나를 위해 쓰는 논문 사이트 모음집! AI/머신러닝/딥러닝 분야에 공부의 끝은 없음으로 꾸준히 새로운 아키텍처와 이슈를 알아주는 게 중요하다 ⭐ 대학원 공benn.tistory.com  전반적인 팁관심 분야 선택: 자신이 연구하고자 하는 분야를 선택합니다. 예를 들어, 저는 컴퓨터 비전 분야의 이미지/영상 분류법에 관심이 많습니다. 앤드류 응 ..

코사인 유사도란?코사인 유사도는 두 벡터가 얼마나 유사한지를 측정하는 방법을 제공합니다. 이때 벡터의 크기는 결과에 영향을 미치지 않습니다.  예를 들어, 2차원 공간에서 두 벡터를 고려할 때, 코사인 유사도는 이 벡터들 사이의 각도에 대한 코사인 값을 계산합니다. 이 값은 -1에서 1 사이에 위치하며 다음과 같은 의미를 가집니다:값이 1이면 두 벡터가 동일함을 나타냅니다. (각도 = 0˚)값이 0이면 두 벡터가 완전히 직교함을 나타냅니다. (각도 = 90˚)값이 -1이면 두 벡터가 정반대임을 나타냅니다. (각도 = 180˚) 코사인 유사도는 두 벡터 간의 유사성을 측정하기 때문에 다양한 딥러닝 분야에서 널리 활용됩니다. 예를 들어, 자연어 처리(NLP)에서는 단어 임베딩의 유사성을 계산하여 의미가 비슷..

커리어 전환을 생각하게 된 계기 + 내 배경고등학교를 졸업할 당시, 난 내 진로에 대해 확신이 없었다. 학교에서 그나마 좋아했던 과목은 물리였다. 숫자를 공식에 넣고 계산을 하면 정확한 답이 나오는 것과, 세상에 (웬만한) 모든 움직임이 수학적으로 설명될 수 있다는 사실에 매료되었던 것 같다. 그래서 단순한 이유로 대학교에서 물리학과 통계학을 전공하게 되었다. 통계학은 대학을 다니다 중간에 부전공으로 선택했는데, 단순히 물리만 전공하는 것보다 두 가지를 전공하는 게 더 나을 것 같았고, 통계학은 부전공 과목이 비교적 적어서 부담이 덜했기 때문이다. 그렇게 우연히 접하게 된 통계학은 생각보다 재미있었지만 당시에는 통계학 분야의 취업을 구체적으로 생각하지는 않았다. 대학 졸업 후, 잠시 고민한 끝에 대학교 ..

파운데이션 모델 foundation model딥러닝 기술의 발전과 더불어, '파운데이션 모델'이라는 (나름) 새로운 개념이 등장하며 주목받고 있습니다. 본 포스트에서는 파운데이션 모델이 무엇인지 자세히 살펴보겠습니다. 파운데이션 모델이란?파운데이션 모델은 엄청난 양의 데이터로 학습된 인공 지능 모델로서 많은 양의 데이터를 통해 일반적인 지식과 패턴을 먼저 흡수한 후, 이를 바탕으로 다양한 분야의 작업을 할 수 있는 모델입니다.   기존 딥러닝 모델을 특정 레시피만 숙지한 요리사라고 생각해 보면 이해가 쉽습니다. 이 요리사는 특정 요리를 만드는 데는 능숙하지만, 다른 요리는 만들 수 없습니다. 반면에 파운데이션 모델은 요리의 기본 원리를 터득한 셰프라고 생각하면 됩니다. 셰프는 다양한 재료와 기법을 활용하..