Bee's 데이터 과학

[파이썬, conda] 가상 환경이란? (feat. 가상환경 생성, 활성화, 삭제)

가상 환경은 프로젝트별 라이브러리를 분리하여 서로 간의 충돌을 방지하는 데 필수적인 도구이다. 예를 들어, 하나의 프로젝트는 `numpy==1.21`이 필요하고 다른 프로젝트는 `numpy==1.19`를 요구하는 상황에서, 잘못된 버전이 설치되면 특정 함수가 누락되거나 코드 실행 중 오류가 발생할 수 있다. 가상 환경은 이러한 충돌을 방지할 수 있다. 가상 환경이란 무엇인가요?가상 환경은 특정 프로젝트에 필요한 Python 실행 파일과 라이브러리를 독립적으로 보관하는 디렉터리입니다. 이를 통해 프로젝트 간의 충돌을 방지하고 효율적으로 작업할 수 있는 환경을 제공한다.- 프로젝트 간 의존성 충돌 방지- 특정 환경을 재현하여 테스트 과정 단순화- 개발, 테스트, 운영 환경 간 일관성 유지 Conda를 사용하..

[TIL#2] 아직 배울게 너무 많은 데이터 과학자의 일주일

이번 주에 배운 것들이번 주에 자잘 자잘하게 배운 것들을 모아봤다. 사실 배워야 할 것들을 모은 수준이다..! 😅1. 새로운 프로젝트를 준비하며내년에는 새로운 프로젝트를 시작할 계획인데, 사용할 수 있는 데이터셋이 또! 제한적이다. 이를 보완하기 위해 생성형 AI를 활용하는 방법을 알아봐야 해서 생성형 AI를 공부하라는 지시?를 받았다. 어디서 뭘 어디부터 봐야 할지 모르겠지만 다음 주에 한번 자료/유튜브 검색을 해보고 차근차근 배워야겠다. 배우고 준비를 해두어야 우리 프로젝트에 알맞은 생성형 AI가 나와도 빠르게 도입할 수 있기 때문!2. 대규모 데이터와 자기지도학습 (Self-Supervised Learning)우리 프로젝트와 연관있는 SSL을 사용하는 파운데이션 모델에 대해 읽고 있다. 이런 논문..

[통계] p값 이해하기

왜 p-value가 중요한가?데이터 과학 분야에서도 p값을 자주 볼 수 있다. 모델 검증, 특징 선택, 가설 검정에서 핵심 역할을 하며, 데이터 과학자가 신뢰할 수 있는 통찰을 도출할 수 있도록 돕는다. UI의 A/B 테스트, 머신러닝 결과 해석 등에서 p값은 불확실성을 정량화하고 근거 있는 결정을 내리는 데 기여한다. 실험이나 연구 결과가 통계적으로 유의미한지, 즉 관찰된 효과가 진짜일 가능성이 높은지 아니면 단순히 우연에 의한 것인지 판단하는 데 도움을 준다.  p-value란 무엇인가요?p값은 귀무 가설이 맞다고 가정했을 때, 실제로 관찰된 결과와 같거나 더 극단적인 결과가 나올 확률을 의미한다. 1. 귀무가설 (null hypothesis, H₀): 비교의 기준이 되는 기본 가정입니다.예를 들어,..

🌞 모닝루틴이 중요한 이유아침 시간을 잘 활용하는 것은 하루의 시작을 긍정적으로 이끄는데 큰 도움을 준다. 아침에 운동을 하면 하루 종일 기분이 좋고 활력이 넘치는 것을 체감할 수 있다. 실제로, 규칙적인 아침 루틴은 스트레스 호르몬인 코티솔 수치를 낮추는 효과가 있다는 연구 결과도 있다. 운동뿐만이 아니라, 아침에 명상이나 일기를 쓰는 활동을 통해 집중력이 높아지고 하루 종일 생산성이 향상된다고 한다. 꾸준한 모닝 루틴을 통해 마음과 몸의 건강을 돌볼 수 있다는 것이다. 🌞 성공한 사람들의 아침 습관’성공한‘ 사람들을 인터뷰한 팟캐스트를 요약한 도서인 『타이탄의 도구』에서 많이 언급되었던 모닝 루틴 습관에는 명상, 운동, 일기 / 글쓰기, 찬물샤워, 독서, 공부, 시각화 등등이 있다. 이제 하도 많..

🔗 [arxiv]👨‍👩‍👧 Jiawei Yang, Katie Z Luo, Jiefeng Li, Congyue Deng, Leonidas Guibas, Dilip Krishnan, Kilian Q Weinberger, Yonglong Tian, Yue Wang📅 2024/01/05 🔖 논문 요약문제 정의: 비전 트랜스포머 (Vision Transformer, ViT)의 특성 맵에서 발생하는 격자 무늬의 노이즈 (위 이미지 'Original features')로 인해, dense prediction 작업에서 성능을 저하시킨다.제안된 방법: ViT 특성 맵에서 발생하는 노이즈를 제거하는 Denoising Vision Transformers (DVT)를 소개한다.핵심 결과: DVT를 통해 노이즈가 제..

이미지 히스토그램이란? 이미지 히스토그램은 이미지 내에서 픽셀 밝기 값의 빈도를 나타내는 그래프입니다. x축에는 0에서 255까지의 픽셀 밝기 값이 있고, y축에는 각 밝기 값에 해당하는 픽셀 수가 표시됩니다. 이 시각화는 이미지의 대비, 밝기, 그리고 밝기 분포를 분석하는 데 유용합니다. 컴퓨터 비전 전처리 단계에서 히스토그램을 활용해 밝기와 대비를 조정하면, 이미지의 특징을 더 잘 학습할 수 있도록 도울 수 있습니다. OpenCV 이미지 히스토그램 만들기아래 코드에서 cv2.calcHist() 함수를 통해 image.jpg의 히스토그램을 계산한 후, matplotlib 라이브러리를 사용하여 이미지 히스토그램을 출력하였다. cv2.calcHist(images, channels, mask, histSiz..

Open Computer Vision Library (OpenCV)는 컴퓨터 비전과 이미지 처리에 자주 사용되는 오픈소스 라이브러리입니다. 처음에는 C++로 개발되었고, 핵심 기능 대부분이 C++로 구현되어 있어 매우 빠른 편이다. 딥러닝, 데이터과학의 인기가 높아지면서 파이썬 API도 제공되기 시작했으며, 이제 Python으로도 대부분의 기능을 사용할 수 있다. 이번 글에서는 파이썬에서 openCV를 설치하는 방법과 기본적인 이미지 처리 작업을 소개해보려고한다. OpenCV 설치하고 불러오기 OpenCV를 설치하는 방법은 매우 간단합니다. 파이썬에서 pip 명령어를 사용하여 설치할 수 있습니다. pip install opencv-python 설치를 한 후, 아래와 같이 라이브러리를 불러준다. impor..

데이터 분석에서는 여러 테이블에 분산된 정보를 하나로 모으는 작업을 자주 하게 된다. pandas 라이브러리의 merge 함수는 SQL 스타일의 조인으로 여러 데이터프레임을 다양한 조인 방식(inner, outer, left, right)을 지원한다.    이번 글에서는 두 개의 영화 데이터프레임을 사용해 merge() 예제를 살펴보겠습니다.첫 번째 데이터프레임은 영화의 ID, 제목, 장르 정보를 담고 있고, 두 번째 데이터프레임은 영화 ID와 사용자 평점을 포함하고 있다. import pandas as pddf_movies = pd.DataFrame({ 'MovieID': [1, 2, 3, 4], 'Title': ['어벤져스', '겨울왕국', '아바타', '괴물'], 'Genre': [..

읽기 편하도록 추가 설명은 접은 글로 정리해 두었습니다. GPT와 같은 대규모 사전 학습 언어 모델은 다양한 다운스트림 작업에 활용된다. 예를 들어, GPT 모델을 의료 데이터를 사용해 추가로 훈련하여 의료 데이터를 분석하거나, 챗봇에 특화된 대화 능력을 강화하는 등 여러 방식으로 활용할 수 있다. 하지만 모델의 크기가 워낙 커서 기존의 훈련 방식으로는 효율적으로 학습시키기 어렵다. 이를 해결하기 위한 접근 중 하나인 LoRA는 모델의 파라미터를 고정한 채 빠르게 학습을 진행할 수 있게 한다.  🔗 [arxiv 링크]👨‍👩‍👧 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, We..

🎧 데이터 과학 팟캐스트 팟캐스트는 주로 출퇴근길에 듣다 보니, 요즘 재택근무를 거의 하면서 예전만큼 듣지 않게 되었다. 그러다 보니 여러 팟캐스트를 듣기보다는 하나로 정착하게 되었는데, 그중 꾸준히 듣고 있는 팟캐스트가 있어 소개하려 한다!이 팟캐스트는 영어로 진행되지만 유튜브 채널과 웹사이트도 있어서 텍스트 버전으로도 내용을 확인할 수 있다. 출퇴근길에 듣다가 궁금한 내용이 있으면 웹사이트에 들어가서 정리된 글을 읽거나 관련 뉴스를 찾아보곤 하는데, 이 과정이 정말 유익하다.유튜브 채널에 영상이 조금 느리게 올라오는 편이긴 하지만, 꾸준히 업데이트는 되고 있다.이 팟캐스트 진행자는 풀타임 직업을 가진 상태에서 이것을 사이드 프로젝트로 운영 중인데, 정말 존경스러울 따름이다. 나처럼 풀타임으로 일하고..