Bee's 데이터 과학

이미지 히스토그램이란? 이미지 히스토그램은 이미지 내에서 픽셀 밝기 값의 빈도를 나타내는 그래프입니다. x축에는 0에서 255까지의 픽셀 밝기 값이 있고, y축에는 각 밝기 값에 해당하는 픽셀 수가 표시됩니다. 이 시각화는 이미지의 대비, 밝기, 그리고 밝기 분포를 분석하는 데 유용합니다. 컴퓨터 비전 전처리 단계에서 히스토그램을 활용해 밝기와 대비를 조정하면, 이미지의 특징을 더 잘 학습할 수 있도록 도울 수 있습니다. OpenCV 이미지 히스토그램 만들기아래 코드에서 cv2.calcHist() 함수를 통해 image.jpg의 히스토그램을 계산한 후, matplotlib 라이브러리를 사용하여 이미지 히스토그램을 출력하였다. cv2.calcHist(images, channels, mask, histSiz..

Open Computer Vision Library (OpenCV)는 컴퓨터 비전과 이미지 처리에 자주 사용되는 오픈소스 라이브러리입니다. 처음에는 C++로 개발되었고, 핵심 기능 대부분이 C++로 구현되어 있어 매우 빠른 편이다. 딥러닝, 데이터과학의 인기가 높아지면서 파이썬 API도 제공되기 시작했으며, 이제 Python으로도 대부분의 기능을 사용할 수 있다. 이번 글에서는 파이썬에서 openCV를 설치하는 방법과 기본적인 이미지 처리 작업을 소개해보려고한다. OpenCV 설치하고 불러오기 OpenCV를 설치하는 방법은 매우 간단합니다. 파이썬에서 pip 명령어를 사용하여 설치할 수 있습니다. pip install opencv-python 설치를 한 후, 아래와 같이 라이브러리를 불러준다. impor..

데이터 분석에서는 여러 테이블에 분산된 정보를 하나로 모으는 작업을 자주 하게 된다. pandas 라이브러리의 merge 함수는 SQL 스타일의 조인으로 여러 데이터프레임을 다양한 조인 방식(inner, outer, left, right)을 지원한다.    이번 글에서는 두 개의 영화 데이터프레임을 사용해 merge() 예제를 살펴보겠습니다.첫 번째 데이터프레임은 영화의 ID, 제목, 장르 정보를 담고 있고, 두 번째 데이터프레임은 영화 ID와 사용자 평점을 포함하고 있다. import pandas as pddf_movies = pd.DataFrame({ 'MovieID': [1, 2, 3, 4], 'Title': ['어벤져스', '겨울왕국', '아바타', '괴물'], 'Genre': [..

읽기 편하도록 추가 설명은 접은 글로 정리해 두었습니다. GPT와 같은 대규모 사전 학습 언어 모델은 다양한 다운스트림 작업에 활용된다. 예를 들어, GPT 모델을 의료 데이터를 사용해 추가로 훈련하여 의료 데이터를 분석하거나, 챗봇에 특화된 대화 능력을 강화하는 등 여러 방식으로 활용할 수 있다. 하지만 모델의 크기가 워낙 커서 기존의 훈련 방식으로는 효율적으로 학습시키기 어렵다. 이를 해결하기 위한 접근 중 하나인 LoRA는 모델의 파라미터를 고정한 채 빠르게 학습을 진행할 수 있게 한다.  🔗 [arxiv 링크]👨‍👩‍👧 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, We..

🎧 데이터 과학 팟캐스트 팟캐스트는 주로 출퇴근길에 듣다 보니, 요즘 재택근무를 거의 하면서 예전만큼 듣지 않게 되었다. 그러다 보니 여러 팟캐스트를 듣기보다는 하나로 정착하게 되었는데, 그중 꾸준히 듣고 있는 팟캐스트가 있어 소개하려 한다!이 팟캐스트는 영어로 진행되지만 유튜브 채널과 웹사이트도 있어서 텍스트 버전으로도 내용을 확인할 수 있다. 출퇴근길에 듣다가 궁금한 내용이 있으면 웹사이트에 들어가서 정리된 글을 읽거나 관련 뉴스를 찾아보곤 하는데, 이 과정이 정말 유익하다.유튜브 채널에 영상이 조금 느리게 올라오는 편이긴 하지만, 꾸준히 업데이트는 되고 있다.이 팟캐스트 진행자는 풀타임 직업을 가진 상태에서 이것을 사이드 프로젝트로 운영 중인데, 정말 존경스러울 따름이다. 나처럼 풀타임으로 일하고..

✏️ = TIL 오늘 배운 것, 또는 느낀 점🙉 = TMI 주저리주저리 2024.08.19   🙉 Procrastination논문 읽기, 딥러닝 공부, 블로그 포스팅, 테니스 레슨 등등 하겠다고 마음먹고도 실행하지 못한 일들이 점점 내 마음을 무겁게 만든다. 미루는 습관(Procrastination)을 멈추기 위해 내가 할 수 있는 방법들을 잠시 고민해봤다. 내가 미루지 않고 잘하는 것들: 책 읽기, 코딩 관련 업무, 집 청소 등등내가 미루는 것들: 딥러닝 공부, 논문 읽기, 블로그 포스팅 등등 딥러닝 공부 같이 끝이 없어 보이는 일들은 더더욱 시작하기가 어렵다. 그래서 온라인에서 찾은 몇 가지 팁을 실천해 보려고 한다.- 2분 이내에 끝낼 수 있는 일은 바로 실행하기- 시간 차단하기: 점심 식사 후..

생성적 적대 네트워크 GAN이란?생성적 적대 신경망(Generative Adversarial Network, GAN)은 새로운 데이터를 생성하는 머신러닝 시스템입니다. 이 인공지능 기술은 실제와 거의 구별할 수 없는 이미지, 텍스트, 음성, 동영상을 만들어내는 능력을 가지고 있습니다.  예를 들어, 페이스북 팀이 개발한 ExGAN은 in-painting GAN의 일종입니다. 아래 이미지에서 첫 번째 열은 원본 이미지, 두 번째 열은 기존 in-painting GAN을 사용해 눈 부위를 생성한 결과이며, 세 번째와 네 번째 열은 페이스북의 ExGAN이 생성한 눈 이미지입니다.🖌 in-painting GAN이란 사진에서 지워진 부분을 채워 넣는 GAN의 한 종류입니다.    이외에도 GAN은 이미지 분야에..

데이터 과학자로서, 또는 딥러닝/머신러닝 전문가로서, 최신 동향을 파악하기 위해 많은 논문을 읽는 것은 필수입니다. 이 글은 앤드류 응 교수님의 강의를 토대로 논문을 효과적으로 읽는 방법을 정리한 내용입니다.  눈문 추천 사이트는 아래 글을 확인해보세요.https://benn.tistory.com/54 AI/머신러닝 논문 사이트 추천대학원 공부가 끝나고 나태해지는 나를 위해 쓰는 논문 사이트 모음집! AI/머신러닝/딥러닝 분야에 공부의 끝은 없음으로 꾸준히 새로운 아키텍처와 이슈를 알아주는 게 중요하다 ⭐ 대학원 공benn.tistory.com  전반적인 팁관심 분야 선택: 자신이 연구하고자 하는 분야를 선택합니다. 예를 들어, 저는 컴퓨터 비전 분야의 이미지/영상 분류법에 관심이 많습니다. 앤드류 응 ..

코사인 유사도란?코사인 유사도는 두 벡터가 얼마나 유사한지를 측정하는 방법을 제공합니다. 이때 벡터의 크기는 결과에 영향을 미치지 않습니다.  예를 들어, 2차원 공간에서 두 벡터를 고려할 때, 코사인 유사도는 이 벡터들 사이의 각도에 대한 코사인 값을 계산합니다. 이 값은 -1에서 1 사이에 위치하며 다음과 같은 의미를 가집니다:값이 1이면 두 벡터가 동일함을 나타냅니다. (각도 = 0˚)값이 0이면 두 벡터가 완전히 직교함을 나타냅니다. (각도 = 90˚)값이 -1이면 두 벡터가 정반대임을 나타냅니다. (각도 = 180˚) 코사인 유사도는 두 벡터 간의 유사성을 측정하기 때문에 다양한 딥러닝 분야에서 널리 활용됩니다. 예를 들어, 자연어 처리(NLP)에서는 단어 임베딩의 유사성을 계산하여 의미가 비슷..

커리어 전환을 생각하게 된 계기 + 내 배경고등학교를 졸업할 당시, 난 내 진로에 대해 확신이 없었다. 학교에서 그나마 좋아했던 과목은 물리였다. 숫자를 공식에 넣고 계산을 하면 정확한 답이 나오는 것과, 세상에 (웬만한) 모든 움직임이 수학적으로 설명될 수 있다는 사실에 매료되었던 것 같다. 그래서 단순한 이유로 대학교에서 물리학과 통계학을 전공하게 되었다. 통계학은 대학을 다니다 중간에 부전공으로 선택했는데, 단순히 물리만 전공하는 것보다 두 가지를 전공하는 게 더 나을 것 같았고, 통계학은 부전공 과목이 비교적 적어서 부담이 덜했기 때문이다. 그렇게 우연히 접하게 된 통계학은 생각보다 재미있었지만 당시에는 통계학 분야의 취업을 구체적으로 생각하지는 않았다. 대학 졸업 후, 잠시 고민한 끝에 대학교 ..