머신러닝딥러닝/딥러닝27 [딥러닝] 인공신경망 패션아이템 분류 - 혼자공부하는 딥러닝 패션 MNIST 머신러닝/딥러닝을 배울 때 많이 사용되는 데이터 셋으로 보통 0~9로 숫자로 이루어진 MNIST가 가장 유명하다. 패션 MNIST는 MNIST와 개수가 동일하지만 패션아이템으로 이루어진 데이터가 패션 MNIST이다. tensorflow / keras Tensorflow는 구글이 2015년 11월에 오픈소스로 공개한 딥러닝 라이브러리이다. 이때를 기점으로 딥러닝에 대한 관심이 높아지고 2016년 3월 알파고가 이세돌 9단을 이겨 대중에 알려지며 인기가 폭발적으로 상승하였다. Tensorflow는 발전을 계속하면서 2019년 2.0버전이 릴리스되었으며, 혼공머신은 2.x버전을 사용합니다. Keras는 Tensorflow의 고수준 API로 프랑소와 숄레가 만든 딥러닝 라이브러리이다. 딥러닝 라.. 2022. 11. 30. 코사인 유사도(Cosine Similarity)vs 유클라디안 유사도(Euclidean Similarity)vs 자카드 유사도(Jaccard Similarity) 유사도란? Similairy 유사도란 상품 A와 상품 B라는 2개의 상품이 있을 때, 2가지 상품이 서로 얼마나 유사한지를 숫자로 표현한 값을 말한다. 유사도 측정방법에는 유클라디안 유사도(Euclidean Similarity), 코사인유사도(Cosine Similarity), 자카드 유사도(Jaccard Similarity), 맨하튼 거리(Manhattan distance), 피어슨 상관계수(Pearson Correlation Coefficient) 등 여러방법이 있다. 이번 포스팅에서는 코사인 유사도(Cosine Similarity), 유클라디안 유사도(Euclidean Similarity), 자카드 유사도(Jaccard Similarity)를 알아보고자 한다. 자카드 유사도(Jaccard Simil.. 2022. 11. 28. t-SNE vs UMAP 차원 축소 알고리즘 알아보기 차원 축소 알고리즘 차원 축소 알고리즘은 matrix factorization과 neightbor graph 2가지로 나눌 수 있는데, t-SNE와 UMAP은 neighbor graph에 해당합니다. PCA matrix factorization 을 base 로 함 (공분산 행렬에 대해서 svd 등) 분산이 최대인 축을 찾고, 이 축과 직교이면서 분산이 최대인 두번째 축을 찾아 투영시키는 방식(공분산 행렬의 고유값과 고유벡터를 구하여 산출) 단점 : 선형 방식으로 정사영하면서 차원의 축소 -> 군집된 데이터들이 뭉게지는 단점 t-SNE : t-distributed Stochastic Neighbor Embedding t-SNE는 데이터의 manifold를 잘 학습하여 데이터의 차원을 축소하거나 의미있는 특.. 2022. 6. 27. 딥러닝(Deep Learning) #16 - RNN & CNN CNN&RNN LSTM & CNN 조합으로 영화리뷰 분류하기 DATA = IMDB(영화 관련 정보, 출연진, 개봉, 후기, 평점 등 영화 데이터 25,000여개 저장) 1. 라이브러리 설정 # 라이브러리 설정하기 from tensorflow.keras.preprocessing import sequence from tensorflow.keras.models import Sequential from tensorflow.keras.datasets import imdb from tensorflow.keras.layers import Dense, Dropout, Activation from tensorflow.keras.layers import Embedding from tensorflow.keras.layers.. 2022. 4. 17. 딥러닝(Deep Learning) #15 - RNN 순환신경망(Recurrent Neural Network, RNN) 순환신경망은 여러개의 데이터가 순차적으로 입력되었을 때, 앞서 입력받은 데이터를 잠시 기억해 놓는 방법을 사용한다. 기억된 데이터가 얼마나 중요한지 판단하여 가중치를 준 뒤, 다음 데이터로 넘어간다. 모든 입력 값에 기억, 판단, 가중치 부여 작업을 실행함으로 같은 층 안에서 계속 맴도는 성질 때문에 순환신경망이라고 부른다. RNN의 문제점 1. RNN은 LSTM(Long Short Term Memory)방법과 함께 가장 많이 사용되고 있다. LSTM(Long Short Term Memory) RNN의 한 종류로, 긴 의존기간을 필요로 하는 학습을 수행할 능력을 갖추고 있음. LSTM 구동순서 1. CELL STATE Linear inte.. 2022. 4. 15. 딥러닝(Deep Learning) #14 - CNN CNN 합성곱 신경망 : Convolutional Neural Network 이미지처리에 탁월한 성능을 가진 신경망. 합성곱 신경망은 합성곱층(Convolution layer) / 풀링층(Pooling layer)로 구성된다. 2. 합성곱(Convolution) 연산 : 이미지의 특징을 추출함 - 커널/필터라는 N X M 크기 행렬로 높이 X 너비 크기의 이미지를 처음부터 끝까지 겹치며 훑으면서 N X M 크기의 겹쳐지는 이미지와 커널 원소 값을 곱해서 모두 더한 값을 출력으로 한다. - 이미지는 왼쪽위부터 오른쪽 아래 순으로 훑는다. - 스트라이드(Stride) : 입력데이터 필터 적용 시 이동 간격을 조절 하는 것. 필터가 이동할 간격 최종 결과값 : 특성맵(feature map) if stride .. 2022. 4. 15. 딥러닝(deel learning) #13 - 선형회귀 적용하기 선형회귀 수치를 예측하는 선형회귀 라이브러리 & 데이터 확인하기 # 라이브러리 설정 import pandas as pd import numpy as np import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from sklearn.model_selection import train_test_split # seed 값 설정 seed = 0 np.random.seed(seed) tf.set_random_seed(seed) # 데이터 확인 및 분석 data = pd.read_csv("C:/Users/kwon.. 2022. 4. 14. 딥러닝(Deep Learning) #12 베스트 모델 구하기 베스트 모델구하기 기본 와인데이터 확인 및 딥러닝 프레임워크 완성하기 # 베스트 모델 구하기 # 기본 데이터 확인 및 딥러닝 모델 만들기 # 라이브러리 설정 import pandas as pd import numpy as np import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.callback import ModelCheckpoint, EarlyStopping # seed=0 고정설정 seed = 0 np.random.seed(seed) tf.set_random_seed(.. 2022. 4. 14. 딥러닝(Deep learning) #10 다중 분류 다중 분류(multi classificiation) 클래스의 정보가 3개 이상인 경우, 여러개의 답 중 하나를 고르는 분류 문제를 다중분류라고 한다. seed 설정 seed = 0 numpy.random.seed(seed) tf.set_random_seed(seed) seed 고정 설정 random() 함수로 임의값을 설정하는 것처럼 보여도 컴퓨터안에 내장된 '내장테이블' 중 하나를 불러내어 순서대로 숫자를 보여주는 것이다. seed 설정은 랜덤테이블 중 몇 번째 테이블을 불러와 쓸 것인지를 결정하는 것이다. numpy 라이브러리를 사용한 tensorflow 딥러닝 구현 시 numpy.seed와 tensorflow.seed 설정 2개 모두 설정해야한다. 데이터 확인 및 분석 data = pd.read_c.. 2022. 4. 13. 이전 1 2 3 다음 반응형
