Bee's 데이터 과학

pickle이란? 'pickle'은 파이썬 객체를 파일로 저장하고 불러오는데 쓰이는 모듈입니다. 예를 들어 작업 중인 파이썬 객체를 저장해 두고 나중에 이어서 작업하고 싶을 경우 사용하면 좋은 모듈입니다. 저 같은 경우에는 데이터 분석 중 정리, 분석, 변환 과정을 거친 배열을 피클 모듈을 사용해 파일로 저장한 후 다음 작업 때 불러와 쓴 경우가 많습니다. 파이썬 객체를 파일로 변환하는 과정은 Pickling (피클링)이라고 하고 반대로 파일을 불러올 경우 Unpickling이라고 합니다. pickle 활용법 먼저 피클 모듈을 아래와 같이 불러옵니다. import pickle 파일 저장하기: 피클링할 경우 (파이썬 객체 → 파일) pickle.dump(object, file) 파일 불러오기: 언피클링할 ..

판다스 데이터프레임을 사용하여 데이터를 살펴볼 때 자주 필요한 필터링에 관한 글입니다. 판다스 라이브러리 부르고 샘플 데이터 입력하기: import pandas as pd data = {'name': ['Harry Potter', 'Draco Malfoy', 'Hermione Granger', 'Ron Weasley', 'Luna Lovegood'], 'age': [12, 12, 12, 12, 11], 'house': ['Gryffindor', 'Slytherin', 'Gryffindor', "Gryffindor", 'Ravenclaw'], 'grade': [80, 78, 99, 50, 60]} df = pd.DataFrame(data) df.head() #1. 한 칼럼 (열)에 조건이 맞는 행 추출하기..

figsize matplotlib.pyplot.figure 자료구조의 fiigure 사이즈를 정할 수 있는 파라미터로 (x축 길이, y축 길이) 튜플 형식을 입력해 주어야 합니다. 여기서 길이는 인치(inch)단위이며 기본 값은 (6.4, 4.8)입니다. matplotlib - 기본 사이즈 바꾸기 아래 코드를 사용하여 디폴트 값을 바꿔버리는 방법도 유용하게 쓰입니다. plt.rcParams["figure.figsize"] = (3,3) 아래 예를 보면 디폴트값을 위 코드로 변경 해준 후 출력되는 그래프는 사이즈가 (3, 3)인걸 확인할 수 있습니다. 판다스 plot() 판다스의 series나 DataFrame 자료구조 두 개 다 plot() 메소드를 사용해 다양한 그래프를 스릴수 있습니다. matplot..

예제 데이터셋 청소년 언어 사용 실태 설문조사 기사에서 나온 숫자를 사용하겠습니다. slang_usage = ["Rarely", "Sometimes", "Never", "Often"] values = [438, 401, 195, 109] matplotlib의 plt.pie() plt.pie()로 간단한 파이 차트를 그려줄수 있다. 아무 파라미터 없이 값만 넣어줘도 간단한 파이 차트 완성! # 라이브러리 불러오기 import matplotlib.pyplot as plt plt.pie(values) 여기서 각 색깔의 의미를 위해 레이블(label)이나 범례(legend)를 추가해준다. 레이블은 labels= 파라미터로 불러준다. plt.pie(values, labels=slang_usage) 범례는 plt...

선 그래프는 수량을 점으로 표시하고 점과 점 사이의 거리를 직선으로 연결한 그래프 형태이며 시간에 따른 데이터의 변화 추세를 파악하는데 유용합니다. 이 글에서는 파이썬의 대표 데이터 시각화 라이브러리 matplotlib을 사용하여 선 그래프를 그리는 법을 정리해봤습니다. matplotlib 불러오기 %matplotlib inline import matplotlib.pyplot as plt 첫 번째 줄 %matplotlib inline은 Jupyter에서 IPython을 쓰는 경우 노트북에서 바로 차트를 볼 수 있게 해주는 코드입니다. matplotlib.pyplot을 불러줍니다. (약자: plt) 선그래프 그리기 리스트, 배열 형식의 데이터가 있다면 바로 pyplot의 plot() 함수에 x축, y축 순..

이번 글에서는 데이터 분석에 자주 쓰이는 패키지를 소개하겠습니다. 데이터 분석을 위한 라이브러리 NumPy NumPy (넘파이)는 Numerical Python ("숫자 파이썬")의 약자로 수치 연산을 수행하는 데 사용되는 라이브러리입니다. 넘파이만의 배열 자료구조 (ndarray)를 이용해 파이썬의 기본 리스트와 딕셔너리보다 빠르게 수치계산을 할 수 있습니다. 예제) 아래는 파이썬 range와 넘파이의 arange 함수를 이용하여 숫자 0부터 100만까지 생성한 후, 모든 수의 제곱을 계산하는 데에 걸리는 시간을 비교해본 것입니다. 넘파이의 배열이 훨씬 더 빠르게 계산이 되는 걸 확인할 수 있습니다. pandas 판다스는 데이터 처리 및 분석을 위해 만들어진 패키지입니다. SQL 테이블이나 엑셀 같이 ..

Pandas 판다스 (Pandas) 라이브러리는 데이터 처리를 위한 라이브러리로 데이터 분석에 많이 사용하는 라이브러리입니다. 판다스의 간단한 소개와 판다스의 두 자료구조인 series와 데이터 프레임은 아래 글에서 확인하실수 있습니다. [파이썬] 판다스 pandas 기초: 판다스의 자료 구조 series와 dataframe 판다스 Pandas 판다스는 파이썬의 라이브러리로 빠르고 쉽게 데이터를 정리하고 분석할 수 있게 해주는 도구입니다. 판다스와 Numpy 넘파이는 아마 데이터 분석/과학 작업에서 함께 많이 쓰이는 라 benn.tistory.com 이번 글에서는 엑셀 파일을 불러오는 방법과 데이터프레임의 갖가지 정보를 알아보기 위해 사용되는 함수를 살펴보겠습니다. csv 파일 불러오기 pandas의 r..

이번 글에서는 유명한 Iris 데이터셋을 사용하여 판다스를 사용해 원하지 않는 데이터를 삭제하는 방법을 정리해봤습니다. 먼저 판다스 라이브러리를 불러오고 데이터셋을 불러오겠습니다. import pandas as pd iris = pd.read_csv("iris.csv") iris 데이터셋의 첫 5줄을 확인하면 아래와 같습니다. 데이터셋 크기 (행, 열 개수) 확인하기 iris.shape 위 코드를 실행하면 (150, 5)가 출력됩니다. (행, 열) 순서로 iris 데이터셋에는 150개의 행과 5개의 열으 이루어져 있다는 걸 확인할 수 있습니다. 행 삭제하기 1. drop으로 인덱스 index 사용해서 삭제하기 데이터프레임.drop(인덱스)를 사용하여 삭제하고 싶은 행의 인덱스를 입력하면 됩니다. new_..

아나콘다 Anaconda 아나콘다 (Anaconda)는 파이썬을 포함한 데이터 과학에 필요한 다양한 언어 및 패키지의 배포입니다. 프로젝트마다 다른 환경을 만드는데도 편리하고 환경마다 필요한 패키지를 설치, 제거 및 변경하기에 용이합니다. Anaconda를 처음 다운로드하면 파이썬 외에 데이터 과학의 일반적인 패키지가 제공되기 때문에 파이썬/데이터 과학을 독학하시는 분들에겐 아나콘다 설치를 많이들 추천합니다. 아나콘다 다운로드 및 링크를 통해 최신 아나콘다 버전을 다운로드합니다. https://www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the eas..

판다스 Pandas 판다스는 파이썬의 라이브러리로 빠르고 쉽게 데이터를 정리하고 분석할 수 있게 해주는 도구입니다. 판다스와 Numpy 넘파이는 아마 데이터 분석/과학 작업에서 함께 많이 쓰이는 라이브러리입니다. 다차원 배열 객체를 제공하는 넘파이와 달리 판다스는 표 형식인 Dataframe이라는 객체를 사용합니다. 간단하게 말하면 판다스는 표 형식의 데이터 작업을 위해 설계되었고 넘파이는 숫자 배열 데이터를 작업하는데 가장 적합합니다. 왼쪽: 판다스의 데이터 프레임 오른쪽: 넘파이의 배열 이번 글에서는 판다스의 대표적인 두 자료구조 시리즈Series와 데이터프레임DataFrame에 대해 설명해보겠습니다. 이 글에서 pd는 pandas 라이브러리를 의미하는 것입니다. import pandas as pd ..