밴의 데이터 과학

판다스 데이터프레임을 사용하여 데이터를 살펴볼 때 자주 필요한 필터링에 관한 글입니다. 판다스 라이브러리 부르고 샘플 데이터 입력하기: import pandas as pd data = {'name': ['Harry Potter', 'Draco Malfoy', 'Hermione Granger', 'Ron Weasley', 'Luna Lovegood'], 'age': [12, 12, 12, 12, 11], 'house': ['Gryffindor', 'Slytherin', 'Gryffindor', "Gryffindor", 'Ravenclaw'], 'grade': [80, 78, 99, 50, 60]} df = pd.DataFrame(data) df.head() #1. 한 칼럼 (열)에 조건이 맞는 행 추출하기..

아나콘다 Anaconda 아나콘다 (Anaconda)는 파이썬을 포함한 데이터 과학에 필요한 다양한 언어 및 패키지의 배포입니다. 프로젝트마다 다른 환경을 만드는데도 편리하고 환경마다 필요한 패키지를 설치, 제거 및 변경하기에 용이합니다. Anaconda를 처음 다운로드하면 파이썬 외에 데이터 과학의 일반적인 패키지가 제공되기 때문에 파이썬/데이터 과학을 독학하시는 분들에겐 아나콘다 설치를 많이들 추천합니다. 아나콘다 다운로드 및 링크를 통해 최신 아나콘다 버전을 다운로드합니다. https://www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the eas..

판다스 Pandas 판다스는 파이썬의 라이브러리로 빠르고 쉽게 데이터를 정리하고 분석할 수 있게 해주는 도구입니다. 판다스와 Numpy 넘파이는 아마 데이터 분석/과학 작업에서 함께 많이 쓰이는 라이브러리입니다. 다차원 배열 객체를 제공하는 넘파이와 달리 판다스는 표 형식인 Dataframe이라는 객체를 사용합니다. 간단하게 말하면 판다스는 표 형식의 데이터 작업을 위해 설계되었고 넘파이는 숫자 배열 데이터를 작업하는데 가장 적합합니다. 왼쪽: 판다스의 데이터 프레임 오른쪽: 넘파이의 배열 이번 글에서는 판다스의 대표적인 두 자료구조 시리즈Series와 데이터프레임DataFrame에 대해 설명해보겠습니다. 이 글에서 pd는 pandas 라이브러리를 의미하는 것입니다. import pandas as pd ..

분류 모델 평가하기 이번 글에서는 분류 모델을 검증하는 단계에 쓰이는 혼동행렬 confusion matrix에 대해 설명해 보겠습니다. 분류 모델의 예로는 스팸 메일인지 아닌지 분류, 타이타닉호에서 생존자 예측하기, MNIST 손글씨 분류가 있습니다. 완벽한 분류 모델이 아닌 이상 분류하는 모델이 잘못된 분류를 할 수 돼있습니다. 예를 들면, 스팸이라고 분류를 했지만 스팸이 아니거나, 스팸이 아니라고 했지만 스팸이거나! 밑과 같이 모형이 예측한 값과 실제 값을 정리한 행렬을 혼동행렬이라고 합니다. 실제 (Actual) Positive Negative 예측 (predicted) Positive True Positive (TP) False Positive (FP) Negative False Negative ..

R, R스튜디오란? R은 통계 분석에 쓰이는 프로그래밍 언어입니다. Python이랑 주로 같이 자주 언급되는 데이터 분석에 쓰이는 언어입니다. R 스튜디오는 R이라는 언어를 편리하게 쓸 수 있게 해 주는 프로그램(통합 개발 환경 IDE)입니다. 이 글에서는 R과 R 스튜디오를 다운받아 설치하는 방법에 대해 써보겠습니다. R 다운로드 및 설치 1. R 공식 웹사이트에 들어간다 https://cran.r-project.org/ 2. 본인 운영 체제(OS)에 맞는 버젼을 다운로드하기 3. 'base'를 눌러주고 'Download ____ for windows"를 눌러주면 다운로드가 시작된다. 4. 설치 프로그램을 실행해서 저장 위치, 원하는 옵션을 선택하면 설치 완료! R 스튜디오 다운로드 및 설치 1. R ..

안녕하세요. 이번 글에서는 Pandas 라이브러리를 사용해 막대그래프를 그리는 법을 설명해 보겠습니다. Pandas 라이브러리는 데이터 정리 및 분석 할 때 많이 사용되며 쉽게 다양한 그래프를 바로 그려볼 수도 있습니다. 이 글에서는 Kaggle의 데이터 과학자 설문조사에서 추출한 데이터셋을 예로 들어 설명해보겠습니다. import pandas as pd # 2020 설문조사에서 데이터 과학자들이 사용하는 프로그래밍 언어 df = pd.DataFrame({'lang':['Python', 'R', 'SQL', 'C', 'C++', 'Java', 'Javascript', 'Julia', 'Swift', 'Bash', "MATLAB", 'None', 'Other'], 'val':[15531, 4278, 753..

머신러닝이란 컴퓨터(machine)가 데이터를 통해 무언가를 스스로 배우게 (learning)하는 방식이다. 그러므로 데이터가 많을수록! 깨끗할수록! 컴퓨터는 더 잘 배우게 되어 있다. 벌써 머신러닝은 많은 분야에서 우리에게 큰 도움을 주고 있다. 예를 들면 이메일이 들어왔을 때 스팸 이메일을 따로 분류를 해준다거나 내가 본 유튜브/넷플릭스 영상을 토대로 추천 동영상을 보여준다거나. 이 외에도 챗봇들, 네이버에 눈살 찌푸리게 만드는 댓글을 막아주는 봇들, 얼굴 인식, 음성 인식 등등... 이렇게 기계는 배우고 우리에게 편리함을 제공하고 있다. 머신러닝 (기계학습) 두 가지 방식 머신러닝은 크게 두가지로 분류된다. 지도 학습과 비지도 학습 1. 지도 학습 Supervised Learning 기계가 배우는 ..