TIL/Deep learning (10) 썸네일형 리스트형 24.07.31 pre-trained CNN Modern CNNsLeNetAlexNetVGGGoogleNet(Inception)ResNetDensNetU-Net (medical imaging)ImageNet (Human performace: 5.1%) LeNetLeCun, Y (1998). Gradient-based learning applied to document recognition CNN 구조 등장AlexNetAlex, Hinton (2012) Structure ReLUDropoutData argmentation (overfitting 줄임)VGG-16/19Oxford (2014)Very Deep - 여기까진 layer의 깊이를 깊게해서 성능을 높이는 원리Inception(Google) NetMultiple branches (convol.. 24.07.30 CNN 3 2D Dealing with shapes C의 값은 Input과 Kernels에서 동일해야함 (즉, kernal이 input과 같은 차원의 행렬로 이뤄져있다)코드에 익숙해지기 전까지 항상 shape의 개수를 따져보는 연습을 하자Numbers of parameters: (w x h x C +1) x D1은 bias Multi-channel 2D Convolution1D signal is convered into a 1D signal2D signal into a 2DInput signal에서 neighboring parts인 것은 output signal에서도 이웃임 Structure of Convolution Layer Input Conv. blocks Convolution + activation (re.. 24.07.29 CNN 2 2024.07.16~07.22 프로젝트 2024.07.23~07.26 코로나 ㄷㄷ CNN(Convolutional Neural Network)이미지 처리와 패턴 익식에 탁월한 성능을 보여주는 신경망Image(픽셀로 이루어진 격자 형태의 데이터)의 공간적 특징을 추출하여 학습하고 패턴을 인식하는데 CNN을 사용 구성(Concolution/ Pooling/ Fully-connected layer=dense layer)합성곱 층(Convolutional layer)Convolution(합성곱)은 kernal과 이미지의 각 픽셀을 곱하여 합산하는 과정 Convolutional layer는 CNN에서 이미지 처리와 패턴 인식을 위해 주로 사용되는 중요한 구성요소Convolutional layer는 입력 이미지.. 24.07.04-05 RNN 자연어처리 개념구글, 애플 siri 등이 자연어처리에 해당 전처리 과정단어의 토큰화 from tensorflow.keras.preprocessing.text import Tokenizerfrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense,Flatten,Embeddingfrom tensorflow.keras.utils import to_categoricalfrom numpy import array# 케라스의 텍스트 전처리와 관련한 함수 중 text_to_word_sequence 함수를 불.. 24.07.08 Auto encoder Auto encoder 데이터의 효율적인 표현을 학습하는 인공 신경망 모델데이터의 중요한 특성을 추출 -> 압축 -> 복원 오토인코더는 원본 데이터를 제한된 크기의 잠재 공간을 사용하여 최대한 근접하게 생성해내는 학습을 하는 과정에서 원본데이터가 갖는 중요한 특성을 잡아냄 구성: Encoder / 잠재공간(latent space, coding) / Decoder Latent space차원축소(dimension reduction)를 함 (데이터의 특성을 줄이는 과정)이는 계산 효율성을 높이고 노이즈를 줄이며, 데이터를 잘 이해하기위해 사용e.g. 불필요한 정보를 제거하고 중요한 정보를 유지함으로써 모델의 성능을 개선입력값의 핵심특성을 표현하는 압축된 형태의 피처맵을 형 활용중요특성 학습이미지 노이즈제.. 24.07.03 CNN Deep Learning AlgorithmsCNN(Convolutional Neural Network)FNNRNNCNN(Convolutional Neural Network)MNIST: 미국 국립표준기술원(NIST)에서 손글씨 숫자 이미지를 모아 만든 데이터셋 (손글씨를 컴퓨터가 알아보는 것)CNN딥러닝보다 더 복잡하고 방대한 data를 다룰 때 사용하는 모델 일부 특징만 뽑아서 마지막 layer(fully connected layer)로 보냄(합성곱 계층을 사용하여 이미지에서 패턴을 추출)이미지나 비디오 데이터 처리에 적합 전체 구조CNN을 사용하지 않으면 너무 많은 컴퓨터 자원 필요과적합 발생 Convolution(합성곱)하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하.. 24.07.01 Deep learning (구조 및 역할) Deep learning AlgorithmsFeed forward neural network(FNN) - 주로 supervised learning에 사용 Convolutional neural network(CNN) - image 처리에 주로 이용Recurrent neural network(RNN) - text 처리에 주로 이용 Autoencoder(AE)CNN baseCNN 모델의 발전 - Pre-trained model/ Transfer learningObject detection - YOLO/ SSD/ R-CNN family RNN baseSeq2seqLSTM, GRULMTransformer (Attention)BERT & BERT variantsGPT models NN 구조 (Review) 활성화함.. 24.06.12 Review(Decision Tree/ Random Tree) Decision Tree(의사결정나무) **이전 study 참고https://sports-lover-94.tistory.com/15 24.05.27 알고리즘 개념(Decision Tree)Algorithm 종류Decision TreeClassfication/ Regression 모두 가능최대 장점: 미리 예측할 수 있음 (초반에 많이 사용) = set of rules(일련의 규칙)을 알려줌e.g. 알파고의 경우 "여기에 둬라"라는 답만 줄뿐, "왜"sports-lover-94.tistory.com어디까지 tree를 만들어야할까? Coding (Iris data)# package importfrom sklearn.datasets import load_irisfrom sklearn.model_selecti.. 24.05.30 SLP/ MLP Single-layer Perceptron (SLP) 코딩 실습Importimport numpy as npimport pandas as pdimport seaborn as snsimport matplotlib as mplimport matplotlib.pyplot as pltimport matplotlib_inline.backend_inlineimport sklearnfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.ensemble import RandomForestClassifierfrom sklearn import metricsfrom sklearn.da.. 24.05.29 Ensemble model/ Neural network Ensemble moel BoostingTree에서 실수한 data로 학습Boosting model의 종류Adaboost: 오분류된 샘플에 더 많은 가중치를 주는 방식Gradient boosting: 각 트리의 실수(failure)를 살펴보고 실수에 대한 새로운 트리를 만드는 방식 (error률이 거의 0)- XGBoost (extreme gradient) : 계산속도가 빠름/ overfitting 방지- lightGBM- Catboost모델이 정답을 가장 잘 찾는 weights를 찾는것 -> 머신/딥러닝의 최대 목표Concepterror값이 0에 가까워질때까지 무한 반복한다XGBoost 사용시 정해줘야하는 facrots objective가 어디에 속하는지 정해주기learning_rate: weights.. 이전 1 다음
