TIL (28) 썸네일형 리스트형 24.07.31 pre-trained CNN Modern CNNsLeNetAlexNetVGGGoogleNet(Inception)ResNetDensNetU-Net (medical imaging)ImageNet (Human performace: 5.1%) LeNetLeCun, Y (1998). Gradient-based learning applied to document recognition CNN 구조 등장AlexNetAlex, Hinton (2012) Structure ReLUDropoutData argmentation (overfitting 줄임)VGG-16/19Oxford (2014)Very Deep - 여기까진 layer의 깊이를 깊게해서 성능을 높이는 원리Inception(Google) NetMultiple branches (convol.. 24.07.30 CNN 3 2D Dealing with shapes C의 값은 Input과 Kernels에서 동일해야함 (즉, kernal이 input과 같은 차원의 행렬로 이뤄져있다)코드에 익숙해지기 전까지 항상 shape의 개수를 따져보는 연습을 하자Numbers of parameters: (w x h x C +1) x D1은 bias Multi-channel 2D Convolution1D signal is convered into a 1D signal2D signal into a 2DInput signal에서 neighboring parts인 것은 output signal에서도 이웃임 Structure of Convolution Layer Input Conv. blocks Convolution + activation (re.. 24.07.29 CNN 2 2024.07.16~07.22 프로젝트 2024.07.23~07.26 코로나 ㄷㄷ CNN(Convolutional Neural Network)이미지 처리와 패턴 익식에 탁월한 성능을 보여주는 신경망Image(픽셀로 이루어진 격자 형태의 데이터)의 공간적 특징을 추출하여 학습하고 패턴을 인식하는데 CNN을 사용 구성(Concolution/ Pooling/ Fully-connected layer=dense layer)합성곱 층(Convolutional layer)Convolution(합성곱)은 kernal과 이미지의 각 픽셀을 곱하여 합산하는 과정 Convolutional layer는 CNN에서 이미지 처리와 패턴 인식을 위해 주로 사용되는 중요한 구성요소Convolutional layer는 입력 이미지.. 24.07.04-05 RNN 자연어처리 개념구글, 애플 siri 등이 자연어처리에 해당 전처리 과정단어의 토큰화 from tensorflow.keras.preprocessing.text import Tokenizerfrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense,Flatten,Embeddingfrom tensorflow.keras.utils import to_categoricalfrom numpy import array# 케라스의 텍스트 전처리와 관련한 함수 중 text_to_word_sequence 함수를 불.. 24.07.08 Auto encoder Auto encoder 데이터의 효율적인 표현을 학습하는 인공 신경망 모델데이터의 중요한 특성을 추출 -> 압축 -> 복원 오토인코더는 원본 데이터를 제한된 크기의 잠재 공간을 사용하여 최대한 근접하게 생성해내는 학습을 하는 과정에서 원본데이터가 갖는 중요한 특성을 잡아냄 구성: Encoder / 잠재공간(latent space, coding) / Decoder Latent space차원축소(dimension reduction)를 함 (데이터의 특성을 줄이는 과정)이는 계산 효율성을 높이고 노이즈를 줄이며, 데이터를 잘 이해하기위해 사용e.g. 불필요한 정보를 제거하고 중요한 정보를 유지함으로써 모델의 성능을 개선입력값의 핵심특성을 표현하는 압축된 형태의 피처맵을 형 활용중요특성 학습이미지 노이즈제.. 24.07.03 CNN Deep Learning AlgorithmsCNN(Convolutional Neural Network)FNNRNNCNN(Convolutional Neural Network)MNIST: 미국 국립표준기술원(NIST)에서 손글씨 숫자 이미지를 모아 만든 데이터셋 (손글씨를 컴퓨터가 알아보는 것)CNN딥러닝보다 더 복잡하고 방대한 data를 다룰 때 사용하는 모델 일부 특징만 뽑아서 마지막 layer(fully connected layer)로 보냄(합성곱 계층을 사용하여 이미지에서 패턴을 추출)이미지나 비디오 데이터 처리에 적합 전체 구조CNN을 사용하지 않으면 너무 많은 컴퓨터 자원 필요과적합 발생 Convolution(합성곱)하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하.. 24.07.01 Deep learning (구조 및 역할) Deep learning AlgorithmsFeed forward neural network(FNN) - 주로 supervised learning에 사용 Convolutional neural network(CNN) - image 처리에 주로 이용Recurrent neural network(RNN) - text 처리에 주로 이용 Autoencoder(AE)CNN baseCNN 모델의 발전 - Pre-trained model/ Transfer learningObject detection - YOLO/ SSD/ R-CNN family RNN baseSeq2seqLSTM, GRULMTransformer (Attention)BERT & BERT variantsGPT models NN 구조 (Review) 활성화함.. 24.06.12 Review(Decision Tree/ Random Tree) Decision Tree(의사결정나무) **이전 study 참고https://sports-lover-94.tistory.com/15 24.05.27 알고리즘 개념(Decision Tree)Algorithm 종류Decision TreeClassfication/ Regression 모두 가능최대 장점: 미리 예측할 수 있음 (초반에 많이 사용) = set of rules(일련의 규칙)을 알려줌e.g. 알파고의 경우 "여기에 둬라"라는 답만 줄뿐, "왜"sports-lover-94.tistory.com어디까지 tree를 만들어야할까? Coding (Iris data)# package importfrom sklearn.datasets import load_irisfrom sklearn.model_selecti.. 24.06.11 Review (Sampling/Preparation/K-NN/Model Evaluation) Data Sampling 단순 무작위 samplingimport numpy as npimport pandas as pd# 임의의 데이터 생성data = pd.DataFrame({ 'id': range(1, 101), # 1부터 100까지의 id 'value': np.random.rand(100) # 임의의 값})# 단순 무작위 샘플링으로 10개의 샘플 선택sample_random = data.sample(n=10)print(sample_random)계통 sampling# 계통 샘플링을 위한 간격(k) 계산k = len(data) // 10 # 예를 들어, 전체 데이터에서 10개의 샘플을 선택하고자 할 때의 간격# 시작점을 무작위로 선택start = np.random.randint(0, k.. 24.06.10 Review (Summary/ Linear Regression with Pytorch) Overall Load MapOverall process for data analysisMining Algorism(Machine model)데이터 유형Tips자기만의 EDA code를 짜두고 잘 정리해 두기Model에 따라 돌려본 hyperparameter, 변수(중요도가 높은 기준 등의 다양한 조합을 했을 때 뭘 선택했는지), 데이터분할방식, 훈련세트비율, scaling 등 모두 기록해두면서 모델 성능을 관리하기 --> 여러번 수행했을 때 그냥 pass하지 말고 분석하기e.g. 아래 예시 Linear Regression with PytorchLinear Regression독립변수들과 종속변수 간의 관계를 예측할 때, 그 사이의 관계를 선형(1차 함수)으로 가정하고 모델링하는 지도학습 알고리즘Pytor.. 이전 1 2 3 다음
