Bee's 데이터 과학

가상 환경은 프로젝트별 라이브러리를 분리하여 서로 간의 충돌을 방지하는 데 필수적인 도구이다. 예를 들어, 하나의 프로젝트는 `numpy==1.21`이 필요하고 다른 프로젝트는 `numpy==1.19`를 요구하는 상황에서, 잘못된 버전이 설치되면 특정 함수가 누락되거나 코드 실행 중 오류가 발생할 수 있다. 가상 환경은 이러한 충돌을 방지할 수 있다. 가상 환경이란 무엇인가요?가상 환경은 특정 프로젝트에 필요한 Python 실행 파일과 라이브러리를 독립적으로 보관하는 디렉터리입니다. 이를 통해 프로젝트 간의 충돌을 방지하고 효율적으로 작업할 수 있는 환경을 제공한다.- 프로젝트 간 의존성 충돌 방지- 특정 환경을 재현하여 테스트 과정 단순화- 개발, 테스트, 운영 환경 간 일관성 유지 Conda를 사용하..

Open Computer Vision Library (OpenCV)는 컴퓨터 비전과 이미지 처리에 자주 사용되는 오픈소스 라이브러리입니다. 처음에는 C++로 개발되었고, 핵심 기능 대부분이 C++로 구현되어 있어 매우 빠른 편이다. 딥러닝, 데이터과학의 인기가 높아지면서 파이썬 API도 제공되기 시작했으며, 이제 Python으로도 대부분의 기능을 사용할 수 있다. 이번 글에서는 파이썬에서 openCV를 설치하는 방법과 기본적인 이미지 처리 작업을 소개해보려고한다. OpenCV 설치하고 불러오기 OpenCV를 설치하는 방법은 매우 간단합니다. 파이썬에서 pip 명령어를 사용하여 설치할 수 있습니다. pip install opencv-python 설치를 한 후, 아래와 같이 라이브러리를 불러준다. impor..

데이터 분석에서는 여러 테이블에 분산된 정보를 하나로 모으는 작업을 자주 하게 된다. pandas 라이브러리의 merge 함수는 SQL 스타일의 조인으로 여러 데이터프레임을 다양한 조인 방식(inner, outer, left, right)을 지원한다.    이번 글에서는 두 개의 영화 데이터프레임을 사용해 merge() 예제를 살펴보겠습니다.첫 번째 데이터프레임은 영화의 ID, 제목, 장르 정보를 담고 있고, 두 번째 데이터프레임은 영화 ID와 사용자 평점을 포함하고 있다. import pandas as pddf_movies = pd.DataFrame({ 'MovieID': [1, 2, 3, 4], 'Title': ['어벤져스', '겨울왕국', '아바타', '괴물'], 'Genre': [..

모듈 모듈 module은 여러 클래스, 함수, 변수를 가지고 있는 파이썬 파일(.py)입니다. 파이썬에 기본적으로 내장되어 있는 내장 모듈, 다른 사람들이 만든 외부 모듈, 또는 직접 작성한 개인 모듈을 불러와 파일 안에 해당 클래스와 함수를 사용할 수 있습니다. 파이썬에서 제공하는 내장 (built-in) 모듈은 따로 설치가 필요 없이 바로 사용 가능합니다. 아래와 같이 모듈들인 비슷한 기능을 제공합니다. 자주 쓰이는 내장 모듈 몇개: datetime - 날짜와 시간 다루는 기능 e.g. 지금 날짜 출력 time - 시간 관련된 기능 e.g. 프로그램 몇 초간 실행 멈추기, 코드 실행시간 측정하기 math - 수학에 관련된 기능 e.g. 자연로그, 코사인, 사인 등등 random - 랜덤 한 값을 생성..

딕셔너리 & 반복문 for 딕셔너리는 키(key)를 기반으로 값(value)을 저장하는 자료형입니다. 딕셔너리 예제: my_dict = { "name": "Harry Potter", "house": "Gryffindor", "age": 18 } 딕셔너리 역시 for문을 사용하여 동일한 코드를 키, 값에 실행할 수 있습니다. 이 글에선 위 my_dict를 사용하여 여러가지 예제를 살펴보겠습니다. 키 key 이름 출력하기 for문을 딕셔너리에 사용한다면 딕셔너리 내부에 있는 키가 변수로 사용됩니다. "for 키 변수 in 딕셔너리:" for key in my_dict: print(key) 아래와 같이 키 변수가 출력됩니다. name house age 또는 keys() 함수를 사용해서 딕셔너리의 키만 뽑아내 ..

반복문 (for문) 반복문(loop)은 어떠한 코드를 반복 처리를 하고 싶을때 사용할 수 있습니다. for문은 주로 리스트, 딕셔너리, 튜플, range 같은 이터레이터(iterator) 객체에 사용됩니다. for문의 기본 형태: for 변수 in 이터레이터 (리스트, 딕셔너리 등): 코드 예제) 리스트 안에 요소 각각 출력하기 letters는 'a', 'b', 'c', 'd' 네 가지의 문자열을 가지고 있는 리스트입니다. for문을 통해 리스트 안에 있는 요소를 각각 출력해보겠습니다. # 네 가지 요소가 저장된 리스트 'letters' letters = ['a', 'b', 'c', 'd'] # 리스트에 print()코드를 반복적으로 적용하기 for x in letters: print(x) output:..

pickle이란? 'pickle'은 파이썬 객체를 파일로 저장하고 불러오는데 쓰이는 모듈입니다. 예를 들어 작업 중인 파이썬 객체를 저장해 두고 나중에 이어서 작업하고 싶을 경우 사용하면 좋은 모듈입니다. 저 같은 경우에는 데이터 분석 중 정리, 분석, 변환 과정을 거친 배열을 피클 모듈을 사용해 파일로 저장한 후 다음 작업 때 불러와 쓴 경우가 많습니다. 파이썬 객체를 파일로 변환하는 과정은 Pickling (피클링)이라고 하고 반대로 파일을 불러올 경우 Unpickling이라고 합니다. pickle 활용법 먼저 피클 모듈을 아래와 같이 불러옵니다. import pickle 파일 저장하기: 피클링할 경우 (파이썬 객체 → 파일) pickle.dump(object, file) 파일 불러오기: 언피클링할 ..

판다스 데이터프레임을 사용하여 데이터를 살펴볼 때 자주 필요한 필터링에 관한 글입니다. 판다스 라이브러리 부르고 샘플 데이터 입력하기: import pandas as pd data = {'name': ['Harry Potter', 'Draco Malfoy', 'Hermione Granger', 'Ron Weasley', 'Luna Lovegood'], 'age': [12, 12, 12, 12, 11], 'house': ['Gryffindor', 'Slytherin', 'Gryffindor', "Gryffindor", 'Ravenclaw'], 'grade': [80, 78, 99, 50, 60]} df = pd.DataFrame(data) df.head() #1. 한 칼럼 (열)에 조건이 맞는 행 추출하기..

figsize matplotlib.pyplot.figure 자료구조의 fiigure 사이즈를 정할 수 있는 파라미터로 (x축 길이, y축 길이) 튜플 형식을 입력해 주어야 합니다. 여기서 길이는 인치(inch)단위이며 기본 값은 (6.4, 4.8)입니다. matplotlib - 기본 사이즈 바꾸기 아래 코드를 사용하여 디폴트 값을 바꿔버리는 방법도 유용하게 쓰입니다. plt.rcParams["figure.figsize"] = (3,3) 아래 예를 보면 디폴트값을 위 코드로 변경 해준 후 출력되는 그래프는 사이즈가 (3, 3)인걸 확인할 수 있습니다. 판다스 plot() 판다스의 series나 DataFrame 자료구조 두 개 다 plot() 메소드를 사용해 다양한 그래프를 스릴수 있습니다. matplot..

예제 데이터셋 청소년 언어 사용 실태 설문조사 기사에서 나온 숫자를 사용하겠습니다. slang_usage = ["Rarely", "Sometimes", "Never", "Often"] values = [438, 401, 195, 109] matplotlib의 plt.pie() plt.pie()로 간단한 파이 차트를 그려줄수 있다. 아무 파라미터 없이 값만 넣어줘도 간단한 파이 차트 완성! # 라이브러리 불러오기 import matplotlib.pyplot as plt plt.pie(values) 여기서 각 색깔의 의미를 위해 레이블(label)이나 범례(legend)를 추가해준다. 레이블은 labels= 파라미터로 불러준다. plt.pie(values, labels=slang_usage) 범례는 plt...