클라우드 인공지능 학습저장소

confusionmatrix 값을 그냥 가져가서 다른 사람들에게 보여주면 시각성이 매우 떨어지므로 시각화 작업이 필요하다. 이때 쓰는 함수가 히트맵이며 다음과 같이 쓸 수 있다. # 8번에서 했던 confusionmatrix값을 기준으로 잡았다. confusion_matrix(y_test, y_pred) >>> array([[42, 6], [ 8, 24]], dtype=int64) # cm값으로 저장 cm=confusion_matrix(y_test, y_pred) #cm값 히트맵 작성 import seaborn as sb sb.heatmap(data=cm,annot= True, cmap='RdPu',linewidths= 0.7) plt.show() 그럼 이렇게 히트맵으로 시각성이 향상된 confusion..

데이터를 비교하려면 기본적으로 노멀라이징 시켜야 데이터끼리 비교할수 있다. 이과정으로 데이터 전처리라고 하는데 이 과정을 거치지 않으면 데이터의 불균형으로 인해 비교가 매우 어려워 질수 있다. 우선 표준화 정규화를 알아보자 표준화 정규화는 데이터 전처리기법중 하나로 표준화는 실수로 데이터를 표현하고 정규화는 0~1사이로 데이터를 표현한다. 우선 데이터를 불러온다. #13번에서 본 서울지역 범죄현황 데이터를 활용한다. crime_anal = pd.read_csv('new_crime_in_Seoul.csv', index_col=0) crime_anal from sklearn import preprocessing # 1. 표준화 방법 from sklearn.preprocessing import Standard..

만약 데이터 특정상 선택한 문자열을 지도에서 검색해서 입력해야하는 경우 데이터가 방대하면 이를 절대 수동으로 할수가 없다. 그래서 현실의 데이터들을 모은 외부의 api데이터를 이용한다. api는 Application Programming Interface의 약자로 유저가 서버에 요청하면 그서버에서 인증을 거친후 데이터를 제공하는 일종의 서비스다. 그림을 보면 조금은 이해가 갈껏이다. 그럼 실습을 통해 api를 써보자 우선 데이터를 불러올 준비를 하자 #서울시 범죄현황 데이터 불러보기 # 한글을 파이썬 환경에 적용 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sb %matplotlib inli..

pandas 데이터 내에서 문자열을 슬라이싱 하는 방법을 알아보자 #데이터를 불러오기(컴마 제거) df=pd.read_csv('../data/crime_in_Seoul.csv',encoding = 'euc-kr',thousands=',') df.head(2) 이 데이터내에서 '관서명'중 끝에 '서'자를 빼고 앞에 '서울'자를 붙히고 뒤에 '경찰서'를 붙이고 싶다면 데이터 컬럼 뒤에 str함수로 문자열이 들어있는 자리를 엑세싱 할수 있다. #station_names 라는 리스트를 만드는데 #df의 관서명 컬럼,서울 붙이고,오른쪽은 경찰서로 붙여서 #['서울중부경찰서','서울종로경찰서'......] #관서명에뒤에 2번째까지만 불러온다. names="서울"+df["관서명"].str[:-2+1]+"경찰서" na..

파이썬 환경에서 엑셀 데이터를 불러오는 방법은 사실 잘 시도하지 않는 부분이다. 왜냐하면 엑셀에서 csv로 전환하기가 가능해서이다. 그러나 엑셀데이터를 불러오는데 방법이 없는것은 아니니 한번 이런것이 있구나 보고 가자 우선 엑셀 데이터를 불러오기 위해선 라이브러리를 파이썬 서버에서 라이브러리를 설치해야 한다. 아나콘나 프롬포트를 키고 가상환경에 접속하여 라이브러리를 설치한다. 이제 설치를 하면 파이썬 환경에서 코드를 따라하면 된다. #엑셀 파일은 파일의 형식이 다르다. #엑셀 라이브러리 설치 필수 pd.read_excel('../data/population_in_Seoul.xls') 불러오게 되면 다음과 같다. 기존 데이터 프레임과 다르게 이상한 데이터 형식이 되었는데 이는 엑셀 데이터가 데이터 프레임에..

만약 찾는값이 Vegetables일때 Vegetables이 아닌 데이터를 엑세스 할경우 맨앞에 ~를 붙인다. #df의 데이터 중 choice_description 값에 Vegetables 들어가지 않는 경우의 갯수를 출력하라 (~df['choice_description'].str.contains("Vegetables",case=False)).sum() >>3900

지금까지 배운 파이썬 함수들을 이용하여 인구조사 데이터를 차트로 그려보자 먼저 한글 데이터를 다루기 위해 다음과 같은 구문을 쓴다. # 한글 찍기 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sb %matplotlib inline import platform from matplotlib import font_manager, rc plt.rcParams['axes.unicode_minus'] = False if platform.system() == 'Darwin': rc('font', family='AppleGothic') elif platform.system() == 'Windows': pa..

지난번Matplotlib을 이용한 차트 그리기 두번째 시간으로써 이어서 차트 그리는법을 설명하겠다. 4. Scatterplots Scatterplots는 두차트간에 관계를 차트로 나타낸다. #데이터 준비 df = pd.read_csv('../data/fuel_econ.csv') df 데이터가 많아서 옆이 잘렸는데 어쨌든 이 데이터를 가지고 Scatterplots을 만들어보자 #두 컬럼간의 관계!!! #배기량(displ)과 연비(comb)의 관계 => 비례,반비례,관계없음 plt의 scatter 사용하는 방법 #scatter 함수에 data값,x=컬럼값,y=컬럼값 plt.scatter(data=df, x='displ',y='comb') plt.title('Displ Vs Comb') plt.xlabel('..

데이터 프레임이나 데이터를 사람 눈에 한눈에 들어오게 하려면 차트를 그려서 보여주는것이 효과적이다. 오늘은 Matplotlib을 이용한 차트 그리기를 해보겠다. 1. Bar Charts 카테고리컬 데이터를 활용한 countplot 바 차트로 카테고리컬 데이터를 표현해보자 #기본적으로 import해야될 라이브러리 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sb %matplotlib inline #데이터 프레임 불러오기(파일에 있는 데이터) df = pd.read_csv('../data/pokemon.csv') df 데이터 프레임을 보게되면 generation_id가 카테고리컬 데이터라는 것을..

각각 다른 데이터 프레임은 컬럼명이 같다면 concat과merge 함수로 합칠수 있다. 먼저 concat함수를 알아보자 concat함수의 특징은 컬럼명이 같은대로 합쳐지고, 데이터 프레임이 몇개 이든지 합칠수 있다. #합칠 데이터 프레임 준비 df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}, index=[0, 1, 2, 3]) df1 df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'], 'B': ['B4', 'B5', 'B6', 'B7'], 'C': ['C4',..