Bee's 데이터 과학

[파이썬, conda] 가상 환경이란? (feat. 가상환경 생성, 활성화, 삭제)

가상 환경은 프로젝트별 라이브러리를 분리하여 서로 간의 충돌을 방지하는 데 필수적인 도구이다. 예를 들어, 하나의 프로젝트는 `numpy==1.21`이 필요하고 다른 프로젝트는 `numpy==1.19`를 요구하는 상황에서, 잘못된 버전이 설치되면 특정 함수가 누락되거나 코드 실행 중 오류가 발생할 수 있다. 가상 환경은 이러한 충돌을 방지할 수 있다. 가상 환경이란 무엇인가요?가상 환경은 특정 프로젝트에 필요한 Python 실행 파일과 라이브러리를 독립적으로 보관하는 디렉터리입니다. 이를 통해 프로젝트 간의 충돌을 방지하고 효율적으로 작업할 수 있는 환경을 제공한다.- 프로젝트 간 의존성 충돌 방지- 특정 환경을 재현하여 테스트 과정 단순화- 개발, 테스트, 운영 환경 간 일관성 유지 Conda를 사용하..

[통계] p값 이해하기

왜 p-value가 중요한가?데이터 과학 분야에서도 p값을 자주 볼 수 있다. 모델 검증, 특징 선택, 가설 검정에서 핵심 역할을 하며, 데이터 과학자가 신뢰할 수 있는 통찰을 도출할 수 있도록 돕는다. UI의 A/B 테스트, 머신러닝 결과 해석 등에서 p값은 불확실성을 정량화하고 근거 있는 결정을 내리는 데 기여한다. 실험이나 연구 결과가 통계적으로 유의미한지, 즉 관찰된 효과가 진짜일 가능성이 높은지 아니면 단순히 우연에 의한 것인지 판단하는 데 도움을 준다.  p-value란 무엇인가요?p값은 귀무 가설이 맞다고 가정했을 때, 실제로 관찰된 결과와 같거나 더 극단적인 결과가 나올 확률을 의미한다. 1. 귀무가설 (null hypothesis, H₀): 비교의 기준이 되는 기본 가정입니다.예를 들어,..

🔗 [arxiv]👨‍👩‍👧 Jiawei Yang, Katie Z Luo, Jiefeng Li, Congyue Deng, Leonidas Guibas, Dilip Krishnan, Kilian Q Weinberger, Yonglong Tian, Yue Wang📅 2024/01/05 🔖 논문 요약문제 정의: 비전 트랜스포머 (Vision Transformer, ViT)의 특성 맵에서 발생하는 격자 무늬의 노이즈 (위 이미지 'Original features')로 인해, dense prediction 작업에서 성능을 저하시킨다.제안된 방법: ViT 특성 맵에서 발생하는 노이즈를 제거하는 Denoising Vision Transformers (DVT)를 소개한다.핵심 결과: DVT를 통해 노이즈가 제..

이미지 히스토그램이란? 이미지 히스토그램은 이미지 내에서 픽셀 밝기 값의 빈도를 나타내는 그래프입니다. x축에는 0에서 255까지의 픽셀 밝기 값이 있고, y축에는 각 밝기 값에 해당하는 픽셀 수가 표시됩니다. 이 시각화는 이미지의 대비, 밝기, 그리고 밝기 분포를 분석하는 데 유용합니다. 컴퓨터 비전 전처리 단계에서 히스토그램을 활용해 밝기와 대비를 조정하면, 이미지의 특징을 더 잘 학습할 수 있도록 도울 수 있습니다. OpenCV 이미지 히스토그램 만들기아래 코드에서 cv2.calcHist() 함수를 통해 image.jpg의 히스토그램을 계산한 후, matplotlib 라이브러리를 사용하여 이미지 히스토그램을 출력하였다. cv2.calcHist(images, channels, mask, histSiz..

Open Computer Vision Library (OpenCV)는 컴퓨터 비전과 이미지 처리에 자주 사용되는 오픈소스 라이브러리입니다. 처음에는 C++로 개발되었고, 핵심 기능 대부분이 C++로 구현되어 있어 매우 빠른 편이다. 딥러닝, 데이터과학의 인기가 높아지면서 파이썬 API도 제공되기 시작했으며, 이제 Python으로도 대부분의 기능을 사용할 수 있다. 이번 글에서는 파이썬에서 openCV를 설치하는 방법과 기본적인 이미지 처리 작업을 소개해보려고한다. OpenCV 설치하고 불러오기 OpenCV를 설치하는 방법은 매우 간단합니다. 파이썬에서 pip 명령어를 사용하여 설치할 수 있습니다. pip install opencv-python 설치를 한 후, 아래와 같이 라이브러리를 불러준다. impor..

데이터 분석에서는 여러 테이블에 분산된 정보를 하나로 모으는 작업을 자주 하게 된다. pandas 라이브러리의 merge 함수는 SQL 스타일의 조인으로 여러 데이터프레임을 다양한 조인 방식(inner, outer, left, right)을 지원한다.    이번 글에서는 두 개의 영화 데이터프레임을 사용해 merge() 예제를 살펴보겠습니다.첫 번째 데이터프레임은 영화의 ID, 제목, 장르 정보를 담고 있고, 두 번째 데이터프레임은 영화 ID와 사용자 평점을 포함하고 있다. import pandas as pddf_movies = pd.DataFrame({ 'MovieID': [1, 2, 3, 4], 'Title': ['어벤져스', '겨울왕국', '아바타', '괴물'], 'Genre': [..

읽기 편하도록 추가 설명은 접은 글로 정리해 두었습니다. GPT와 같은 대규모 사전 학습 언어 모델은 다양한 다운스트림 작업에 활용된다. 예를 들어, GPT 모델을 의료 데이터를 사용해 추가로 훈련하여 의료 데이터를 분석하거나, 챗봇에 특화된 대화 능력을 강화하는 등 여러 방식으로 활용할 수 있다. 하지만 모델의 크기가 워낙 커서 기존의 훈련 방식으로는 효율적으로 학습시키기 어렵다. 이를 해결하기 위한 접근 중 하나인 LoRA는 모델의 파라미터를 고정한 채 빠르게 학습을 진행할 수 있게 한다.  🔗 [arxiv 링크]👨‍👩‍👧 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, We..

생성적 적대 네트워크 GAN이란?생성적 적대 신경망(Generative Adversarial Network, GAN)은 새로운 데이터를 생성하는 머신러닝 시스템입니다. 이 인공지능 기술은 실제와 거의 구별할 수 없는 이미지, 텍스트, 음성, 동영상을 만들어내는 능력을 가지고 있습니다.  예를 들어, 페이스북 팀이 개발한 ExGAN은 in-painting GAN의 일종입니다. 아래 이미지에서 첫 번째 열은 원본 이미지, 두 번째 열은 기존 in-painting GAN을 사용해 눈 부위를 생성한 결과이며, 세 번째와 네 번째 열은 페이스북의 ExGAN이 생성한 눈 이미지입니다.🖌 in-painting GAN이란 사진에서 지워진 부분을 채워 넣는 GAN의 한 종류입니다.    이외에도 GAN은 이미지 분야에..

데이터 과학자로서, 또는 딥러닝/머신러닝 전문가로서, 최신 동향을 파악하기 위해 많은 논문을 읽는 것은 필수입니다. 이 글은 앤드류 응 교수님의 강의를 토대로 논문을 효과적으로 읽는 방법을 정리한 내용입니다.  눈문 추천 사이트는 아래 글을 확인해보세요.https://benn.tistory.com/54 AI/머신러닝 논문 사이트 추천대학원 공부가 끝나고 나태해지는 나를 위해 쓰는 논문 사이트 모음집! AI/머신러닝/딥러닝 분야에 공부의 끝은 없음으로 꾸준히 새로운 아키텍처와 이슈를 알아주는 게 중요하다 ⭐ 대학원 공benn.tistory.com  전반적인 팁관심 분야 선택: 자신이 연구하고자 하는 분야를 선택합니다. 예를 들어, 저는 컴퓨터 비전 분야의 이미지/영상 분류법에 관심이 많습니다. 앤드류 응 ..

코사인 유사도란?코사인 유사도는 두 벡터가 얼마나 유사한지를 측정하는 방법을 제공합니다. 이때 벡터의 크기는 결과에 영향을 미치지 않습니다.  예를 들어, 2차원 공간에서 두 벡터를 고려할 때, 코사인 유사도는 이 벡터들 사이의 각도에 대한 코사인 값을 계산합니다. 이 값은 -1에서 1 사이에 위치하며 다음과 같은 의미를 가집니다:값이 1이면 두 벡터가 동일함을 나타냅니다. (각도 = 0˚)값이 0이면 두 벡터가 완전히 직교함을 나타냅니다. (각도 = 90˚)값이 -1이면 두 벡터가 정반대임을 나타냅니다. (각도 = 180˚) 코사인 유사도는 두 벡터 간의 유사성을 측정하기 때문에 다양한 딥러닝 분야에서 널리 활용됩니다. 예를 들어, 자연어 처리(NLP)에서는 단어 임베딩의 유사성을 계산하여 의미가 비슷..