클라우드 인공지능 학습저장소

가상환경을 모두 만들면 다음으로는 mysql에서 데이터베이스를 새로 만든다. 이 데이터베이스는 본인만 들어갈수 있게 설정해야 한다. mysql 쿼리문으로 다음과 같이 써준다. 본인이 설정할 유저 이름과 비밀번호 데이터베이스이름이 있어야 한다. 써주고 명령문을 적용해야 한다. 만약 중간에 설정한 값이 생각이 나지 않는것을 대비해 설정한 값들을 정리해서 메모장에 붙어 넣는다. use mysql; create user 유저이름 @'%' identified by 비밀번호 ; grant all on 데이터베이스이름.* to 아까 설정한 유저이름@'%'; 그럼 이제 mysql 홈화면으로 나와서 +버튼을 누른다. 누른후 본인이 아까 설정한 값들을 집어넣는다. aws의 RDS서버 주소도 있어야 한다. 값을 다 넣었다면..

백엔드 개발을 하기 위해선 파이썬 함수를 배울때 가상환경을 설정했어도 가상환경 설정을 다시 설정 해줘야 한다. 먼저 아나콘다 프롬프트를 열고 아래 코드로 가상환경 이름을 설정하여 가상환경을 새로 만든다. 되도록이면 기억하기 쉽게 그리고 영어로 써주는것이 좋다. $conda create -n 가상환경이름설정하고 싶은거 python=3.8 numpy scipy matplotlib ipython scikit-learn pandas pillow jupyter seaborn 가상환경을 만들었다면 들어간다. conda activate 아까만든 가상환경 이름 가상환경에 들어가서 프레임워크인 flask와 flask-RESTful를 설치한다. pip install flask pip intstall flask-RESTfu..

백엔드 개발에 첫 글로 Restful API을 소개하고자 한다. 백엔드란 유저인터페이스 뒤에서 활동하는 개념을 말한다. 언뜻보면 앞에서 활동하지 않아서 쉬워 보이지만 뒤에 유저와 서버 데이터베이스를 연결하는 중요한 역할을 맡는다. 이런 백엔드 개발에서 가장 중요한 요소는 API라 할수 있다. API란 Application Programming Interface에 약자로 유저가 API를 통해 데이터베이스의 정보를 간접적으로 통하고 데이터베이스를 사용하는 서비스를 이용할 수 있게 해준다. 우리가 지금 쓰는 유명한 소프트웨어는 다 저마다의 API가 수십개 존재한다. 그중 Restful API는 서버나 서비스에 존재하는 모든 자원에 고유한 URI를 부여해 활용하는 API이다. 한마디로 API의 고유한 인터넷주소..

prophet 라이브러리는 페이스북에서 개발한 라이브러리로써 타임 시리즈 데이터를 자동으로 인식해 그래프를 그려주고 그 데이터의 1년후 10년후 데이터를 예측한다. prophet을 써보자 우선 라이브러리를 호출한다. # import libraries import pandas as pd import numpy as np import matplotlib.pyplot as plt import random import seaborn as sns from prophet import Prophet 데이터 읽는 방법은 저번시간에도 진행하였고 학습할 데이터를 직접구한것이라 여러분도 타임 시리즈 데이터를 구해서 데이터를 불러보자 필자는 미국의 아보카도 리테일 데이터를 썻다. (2018년도 weekly 데이터) 데이터를 ..

트랜스퍼 러닝은 분명 좋은 방법이나 여전히 우리는 몇 에포크까지 해야 가장 좋은 모델이 되는지 알수 없다. 따라서 모델의 checkpoint를 만들어 에포크시마다 가장 좋은 모델이 되는 순간을 기록한다. 일단 데이터를 부르고 학습하는 순간까지 가보자 학습하기 전에 os라이브러리로 체크포인트의 경로를 만든다. #체크포인트 생성 if not os.path.exists(PROJECT_PATH + '/checkpoints/'+model_type+'/'): os.makedirs(PROJECT_PATH + '/checkpoints/'+model_type+'/') #로그 기록 if not os.path.exists(PROJECT_PATH + '/log/'+model_type+'/'): os.makedirs(PROJE..

Transfer Learning은 기존의 잘설계된 모델에 자신의 모델을 덧붙여 딥러닝을 진행하는 방법으로 회사에서도 많이 쓰이는 방법이다. Fine Tunning은 글 뒤에 후술하겠지만 Transfer Learning을 진행한 학습 모델에서 레이어를 다듬어 다시 학습하는 방법이다. 우선 Transfer Learning을 진행해보자 우선 데이터 파일을 받는다. !wget --no-check-certificate \ https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip \ -O ./cats_and_dogs_filtered.zip 라이브러리를 호출한다. import os import zipfile import numpy as np i..

이번 시간에는 이미지 원본 파일을 트레인/테스트 파일로 분리하여 사용하는 방법에 대해 알아본다. 우선 데이터를 구글 드라이브에 구글 코렙의 tmp경로로 넣어야 한다. 그런 다음 다운받은 파일의 압축을 푼다. # Cats-v-dogs dataset 으로, 데이터를 분리하고, 이미지 증강을 활용하요, 인공지능 학습시킨다. import os import zipfile import random import tensorflow as tf from tensorflow.keras.optimizers import RMSprop from tensorflow.keras.preprocessing.image import ImageDataGenerator from shutil import copyfile # /tmp 경로에 압..

ImageDataGenerator는 학습할 이미지 데이터가 부족할시 이미지를 편집하고 복사하여 데이터를 증강시켜주는 함수이다. 기본적으로 앞,뒤,옆모습은 기본이고 사진 뒤집기,회전,확대,축소도 된다. 이런식으로 이미지를 편집하고 증강하여 딥러닝의 정확도를 높인다. train_datagen = ImageDataGenerator( rotation_range=40, width_shift_range=0.2, height_shift_range=0.2, shear_range=0.2, zoom_range=0.2, horizontal_flip=True, fill_mode='nearest')

이번 시간에는 파이썬 환경에서 텐서 플로우를 활용하여 CNN 모델을 세워보고 데이터 학습을 진행해보자 우선 데이터를 준비 한다. # 개,고양이 사진 데이터 준비 !wget --no-check-certificate \ https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip \ -O /tmp/cats_and_dogs_filtered.zip # 데이터 압축풀기 import zipfile file = zipfile.ZipFile('/tmp/cats_and_dogs_filtered.zip') file.extractall('/tmp/cats_and_dogs_filtered') 데이터 경로를 지정한다. base_dir='/tmp/cats_an..

CNN의 이미지 데이터들은 데이터 용량이 크기 때문에 대부분은 압축이 된 경우가 많다. 파이썬으로 이미지 데이터를 받고 압축을 푸는 작업을 해보자 우선 데이터 이미지가 압축된 파일을 다운로드 한다. # 리눅스 언어로 압축파일을 받아 온다. !wget --no-check-certificate \ https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip \ -O /tmp/cats_and_dogs_filtered.zip 압축을 풀고 지정한 경로로 지정한 이름으로 저장한다. #지정한 경로로 압축을 풀기 import zipfile file = zipfile.ZipFile('/tmp/cats_and_dogs_filtered.zip') #지정한..