본문 바로가기

분류 전체보기

(33)
Pyrosetta Installation 1. PyRosetta 버전 문제원인:PyRosetta의 .whl 파일을 다운로드할 때, 최신 Mac 버전에 맞춰 다운로드했지만, 내가 사용하는 맥북은 ARM64 아키텍처였고, Intel CPU용 버전을 다운로드한 문제.해결법:ARM64 아키텍처에 맞는 버전을 다운로드.ARM64용 PyRosetta .whl 파일을 사용하여 설치 진행.2. Python 버전 문제로 PyRosetta 실행 안됨원인:Python 3.13에 PyRosetta 설치, Jupyter는 Python 3.9 환경 사용ModuleNotFoundError 발생해결법:Python 3.13 설치 및 활성화Python 3.13을 Jupyter 커널로 등록3. PyRosetta 설치 문제원인:Jupyter Notebook에서 Python 3.9..
24.07.31 pre-trained CNN Modern CNNsLeNetAlexNetVGGGoogleNet(Inception)ResNetDensNetU-Net (medical imaging)ImageNet (Human performace: 5.1%)   LeNetLeCun, Y (1998). Gradient-based learning applied to document recognition CNN 구조 등장AlexNetAlex, Hinton (2012) Structure ReLUDropoutData argmentation (overfitting 줄임)VGG-16/19Oxford (2014)Very Deep - 여기까진 layer의 깊이를 깊게해서 성능을 높이는 원리Inception(Google) NetMultiple branches (convol..
24.07.30 CNN 3 2D Dealing with shapes C의 값은 Input과 Kernels에서 동일해야함 (즉, kernal이 input과 같은 차원의 행렬로 이뤄져있다)코드에 익숙해지기 전까지 항상 shape의 개수를 따져보는 연습을 하자Numbers of parameters: (w x h x C +1) x D1은 bias Multi-channel 2D Convolution1D signal is convered into a 1D signal2D signal into a 2DInput signal에서 neighboring parts인 것은 output signal에서도 이웃임  Structure of Convolution Layer Input Conv. blocks Convolution + activation (re..
24.07.29 CNN 2 2024.07.16~07.22 프로젝트 2024.07.23~07.26 코로나 ㄷㄷ  CNN(Convolutional Neural Network)이미지 처리와 패턴 익식에 탁월한 성능을 보여주는 신경망Image(픽셀로 이루어진 격자 형태의 데이터)의 공간적 특징을 추출하여 학습하고 패턴을 인식하는데 CNN을 사용  구성(Concolution/ Pooling/ Fully-connected layer=dense layer)합성곱 층(Convolutional layer)Convolution(합성곱)은 kernal과 이미지의 각 픽셀을 곱하여 합산하는 과정 Convolutional layer는 CNN에서 이미지 처리와 패턴 인식을 위해 주로 사용되는 중요한 구성요소Convolutional layer는 입력 이미지..
24.07.04-05 RNN 자연어처리 개념구글, 애플 siri 등이 자연어처리에 해당 전처리 과정단어의 토큰화 from tensorflow.keras.preprocessing.text import Tokenizerfrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense,Flatten,Embeddingfrom tensorflow.keras.utils import to_categoricalfrom numpy import array# 케라스의 텍스트 전처리와 관련한 함수 중 text_to_word_sequence 함수를 불..
24.07.08 Auto encoder Auto encoder 데이터의 효율적인 표현을 학습하는 인공 신경망 모델데이터의 중요한 특성을 추출 -> 압축 -> 복원 오토인코더는 원본 데이터를 제한된 크기의 잠재 공간을 사용하여 최대한 근접하게 생성해내는 학습을 하는 과정에서 원본데이터가 갖는 중요한 특성을 잡아냄 구성: Encoder / 잠재공간(latent space, coding) / Decoder  Latent space차원축소(dimension reduction)를 함 (데이터의 특성을 줄이는 과정)이는 계산 효율성을 높이고 노이즈를 줄이며, 데이터를 잘 이해하기위해 사용e.g. 불필요한 정보를 제거하고 중요한 정보를 유지함으로써 모델의 성능을 개선입력값의 핵심특성을 표현하는 압축된 형태의 피처맵을 형   활용중요특성 학습이미지 노이즈제..
24.07.03 CNN Deep Learning AlgorithmsCNN(Convolutional Neural Network)FNNRNNCNN(Convolutional Neural Network)MNIST: 미국 국립표준기술원(NIST)에서 손글씨 숫자 이미지를 모아 만든 데이터셋 (손글씨를 컴퓨터가 알아보는 것)CNN딥러닝보다 더 복잡하고 방대한 data를 다룰 때 사용하는 모델 일부 특징만 뽑아서 마지막 layer(fully connected layer)로 보냄(합성곱 계층을 사용하여 이미지에서 패턴을 추출)이미지나 비디오 데이터 처리에 적합 전체 구조CNN을 사용하지 않으면 너무 많은 컴퓨터 자원 필요과적합 발생  Convolution(합성곱)하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하..
24.07.01 Deep learning (구조 및 역할) Deep learning AlgorithmsFeed forward neural network(FNN) - 주로 supervised learning에 사용 Convolutional neural network(CNN) - image 처리에 주로 이용Recurrent neural network(RNN) - text 처리에 주로 이용 Autoencoder(AE)CNN baseCNN 모델의 발전 - Pre-trained model/ Transfer learningObject detection - YOLO/ SSD/ R-CNN family RNN baseSeq2seqLSTM, GRULMTransformer (Attention)BERT & BERT variantsGPT models NN 구조 (Review) 활성화함..
24.06.28 Mining Algorithm Mining Algorithm공분산(Covariance)공: co~ 여러분산: 분포 (확률 변수가 기대값으로부터 얼마나 떨어진 곳에 분포하는지) 공분산: 2개의 확률변수의 선형 관계를 나타내는 값 e.g. 수학을 잘하면 영어도 잘한다 상관관계 분석, 상관계수(Correlation)두 변수 사이의 관계의 거리와 방향을 파악하는 통계 기법상관계수(correlation coefficient): 상관관계의 강도를 나태낸 수치 (-1에서 1사이의 값을 가짐)양(1): 두 관계 비례 음(-1): 두 관계 반비계0: 서로 관계없음 기준: 정해진 것은 없으나 대략 아래와같이 분류  상관관계 분석 종류Pearson Correlation Coefficient(피어슨 상관계수)두 변수 간의 선형 관계를 측정값의 범위는 -1..
24.06.28 Vectorization Vector숫자의 한 줄 배열 (1D array), 크기와 방향을 가짐 Vector space를 이루는 단위원소여러 개의 숫자를 한줄로 배열한 것 Element(원소): 벡터를 구성하고 있는 각 숫자 종벡터, 횡벡터 Scalar: 숫자 하나(실수)Matrix: 숫자의 사각형 형태의 배열 (2D array) - 직사각형 그리드 Vector의 기하학적 의미(공간에서의 의미)하나의 vector는 N 차원 공간 상의 위치를 가짐 벡터의 차원: 벡터에 포함된 원소의 수 e.g. n차원 벡터 = n개의 원소 수 e.g. 2차원 공간의 벡터 = 2차원 공간의 한점 (1, 2)차원 공간에서의 vector의 위치는 vector의 원소값에 의해 결정벡터 원소 값은 해당 벡터의 고유한 특성을 의미 = 벡터의 공간상에서의 위..