Bee's 데이터 과학

이번 주 들은 팟캐스트: 의 "Lessons from eGamer Networks" https://podcasts.apple.com/gb/podcast/lessons-from-egamer-networks/id890348705?i=1000677335001 Lessons from eGamer NetworksPodcast Episode · Data Skeptic · 18/11/2024 · 38mpodcasts.apple.com  이 에피소드는 박사 과정 학생인 Alex Bisberg의 연구를 중심으로, 멀티플레이어 온라인 게임에서의 사회적 행동 분석 연구에 대해 이야기한다. 연구는 Sky: Children of the Light라는 게임을 기반으로, 게임 내에서 어떻게 플레이어들 간의 관대함(generosit..

생성형 AI란?생성형 AI는 입력된 프롬프트(질문, 요청, 설명 등)에 따라 새로운 콘텐츠(텍스트, 이미지, 동영상, 음악, 코드 등)를 생성하는 인공지능 기술이다. 기존 데이터를 학습하여 그 구조와 패턴을 이해한 후, 이를 바탕으로 독창적이거나 창의적인 결과물을 만들어냅니다.  주요 특징학습 및 생성 능력대규모 데이터 세트를 기반으로 패턴과 관계를 학습.학습한 데이터를 토대로 새로운 텍스트, 이미지, 음성, 코드 등을 생성.활용 분야텍스트 생성: 예) ChatGPT를 사용해 글쓰기, 이메일 작성, 대화 생성.이미지 생성: 예) DALL·E와 MidJourney로 예술 작품, 제품 디자인.음악 및 음성: 음악 작곡, 음성 합성.코드 생성: GitHub Copilot으로 코드 작성 보조.비디오 제작: 간단..

데이터 과학에 얼마나 많은 수학이 필요한가? 최근 몇 년간 데이터 과학은 주목받는 직업 중 하나로 자리 잡았다. 데이터 과학은 컴퓨터 과학, 통계학/수학, 그리고 도메인 지식을 결합한 다학문적(interdisciplinary) 분야로, 데이터를 분석하고 인사이트를 도출하며 의사결정을 지원하는 데 핵심적인 역할을 한다. 데이터 과학자의 역할은 회사와 상황에 따라 다양하지만, 이번 글에서는 데이터 과학에서 일반적으로 요구되는 수학적 지식의 수준을 정리해 보았다.  이 글은 호주에서 일하고 있는 사람이 작성한 만큼, 다른 상황에서는 다를 수 있습니다. 여러분의 경험과 의견이 다르다면 댓글로 자유롭게 공유해 주세요!  데이터 과학자에게 수학이 필요한 이유데이터 과학의 핵심은 데이터를 이해하고 이를 기반으로 정보..

이번 주에 배운 것들이번 주에 자잘 자잘하게 배운 것들을 모아봤다. 사실 배워야 할 것들을 모은 수준이다..! 😅1. 새로운 프로젝트를 준비하며내년에는 새로운 프로젝트를 시작할 계획인데, 사용할 수 있는 데이터셋이 또! 제한적이다. 이를 보완하기 위해 생성형 AI를 활용하는 방법을 알아봐야 해서 생성형 AI를 공부하라는 지시?를 받았다. 어디서 뭘 어디부터 봐야 할지 모르겠지만 다음 주에 한번 자료/유튜브 검색을 해보고 차근차근 배워야겠다. 배우고 준비를 해두어야 우리 프로젝트에 알맞은 생성형 AI가 나와도 빠르게 도입할 수 있기 때문!2. 대규모 데이터와 자기지도학습 (Self-Supervised Learning)우리 프로젝트와 연관있는 SSL을 사용하는 파운데이션 모델에 대해 읽고 있다. 이런 논문..

🔗 [arxiv]👨‍👩‍👧 Jiawei Yang, Katie Z Luo, Jiefeng Li, Congyue Deng, Leonidas Guibas, Dilip Krishnan, Kilian Q Weinberger, Yonglong Tian, Yue Wang📅 2024/01/05 🔖 논문 요약문제 정의: 비전 트랜스포머 (Vision Transformer, ViT)의 특성 맵에서 발생하는 격자 무늬의 노이즈 (위 이미지 'Original features')로 인해, dense prediction 작업에서 성능을 저하시킨다.제안된 방법: ViT 특성 맵에서 발생하는 노이즈를 제거하는 Denoising Vision Transformers (DVT)를 소개한다.핵심 결과: DVT를 통해 노이즈가 제..

읽기 편하도록 추가 설명은 접은 글로 정리해 두었습니다. GPT와 같은 대규모 사전 학습 언어 모델은 다양한 다운스트림 작업에 활용된다. 예를 들어, GPT 모델을 의료 데이터를 사용해 추가로 훈련하여 의료 데이터를 분석하거나, 챗봇에 특화된 대화 능력을 강화하는 등 여러 방식으로 활용할 수 있다. 하지만 모델의 크기가 워낙 커서 기존의 훈련 방식으로는 효율적으로 학습시키기 어렵다. 이를 해결하기 위한 접근 중 하나인 LoRA는 모델의 파라미터를 고정한 채 빠르게 학습을 진행할 수 있게 한다.  🔗 [arxiv 링크]👨‍👩‍👧 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, We..

생성적 적대 네트워크 GAN이란?생성적 적대 신경망(Generative Adversarial Network, GAN)은 새로운 데이터를 생성하는 머신러닝 시스템입니다. 이 인공지능 기술은 실제와 거의 구별할 수 없는 이미지, 텍스트, 음성, 동영상을 만들어내는 능력을 가지고 있습니다.  예를 들어, 페이스북 팀이 개발한 ExGAN은 in-painting GAN의 일종입니다. 아래 이미지에서 첫 번째 열은 원본 이미지, 두 번째 열은 기존 in-painting GAN을 사용해 눈 부위를 생성한 결과이며, 세 번째와 네 번째 열은 페이스북의 ExGAN이 생성한 눈 이미지입니다.🖌 in-painting GAN이란 사진에서 지워진 부분을 채워 넣는 GAN의 한 종류입니다.    이외에도 GAN은 이미지 분야에..

데이터 과학자로서, 또는 딥러닝/머신러닝 전문가로서, 최신 동향을 파악하기 위해 많은 논문을 읽는 것은 필수입니다. 이 글은 앤드류 응 교수님의 강의를 토대로 논문을 효과적으로 읽는 방법을 정리한 내용입니다.  눈문 추천 사이트는 아래 글을 확인해보세요.https://benn.tistory.com/54 AI/머신러닝 논문 사이트 추천대학원 공부가 끝나고 나태해지는 나를 위해 쓰는 논문 사이트 모음집! AI/머신러닝/딥러닝 분야에 공부의 끝은 없음으로 꾸준히 새로운 아키텍처와 이슈를 알아주는 게 중요하다 ⭐ 대학원 공benn.tistory.com  전반적인 팁관심 분야 선택: 자신이 연구하고자 하는 분야를 선택합니다. 예를 들어, 저는 컴퓨터 비전 분야의 이미지/영상 분류법에 관심이 많습니다. 앤드류 응 ..

코사인 유사도란?코사인 유사도는 두 벡터가 얼마나 유사한지를 측정하는 방법을 제공합니다. 이때 벡터의 크기는 결과에 영향을 미치지 않습니다.  예를 들어, 2차원 공간에서 두 벡터를 고려할 때, 코사인 유사도는 이 벡터들 사이의 각도에 대한 코사인 값을 계산합니다. 이 값은 -1에서 1 사이에 위치하며 다음과 같은 의미를 가집니다:값이 1이면 두 벡터가 동일함을 나타냅니다. (각도 = 0˚)값이 0이면 두 벡터가 완전히 직교함을 나타냅니다. (각도 = 90˚)값이 -1이면 두 벡터가 정반대임을 나타냅니다. (각도 = 180˚) 코사인 유사도는 두 벡터 간의 유사성을 측정하기 때문에 다양한 딥러닝 분야에서 널리 활용됩니다. 예를 들어, 자연어 처리(NLP)에서는 단어 임베딩의 유사성을 계산하여 의미가 비슷..

커리어 전환을 생각하게 된 계기 + 내 배경고등학교를 졸업할 당시, 난 내 진로에 대해 확신이 없었다. 학교에서 그나마 좋아했던 과목은 물리였다. 숫자를 공식에 넣고 계산을 하면 정확한 답이 나오는 것과, 세상에 (웬만한) 모든 움직임이 수학적으로 설명될 수 있다는 사실에 매료되었던 것 같다. 그래서 단순한 이유로 대학교에서 물리학과 통계학을 전공하게 되었다. 통계학은 대학을 다니다 중간에 부전공으로 선택했는데, 단순히 물리만 전공하는 것보다 두 가지를 전공하는 게 더 나을 것 같았고, 통계학은 부전공 과목이 비교적 적어서 부담이 덜했기 때문이다. 그렇게 우연히 접하게 된 통계학은 생각보다 재미있었지만 당시에는 통계학 분야의 취업을 구체적으로 생각하지는 않았다. 대학 졸업 후, 잠시 고민한 끝에 대학교 ..