Research Notes

Seminar at Nike outsourcing company ChangShin Korea I attended a seminar by Prof. Hau Lee from Stanford University at Changsin Headquarters, a Nike OEM company. It was truly impressive to witness the master of Supply Chain Management, the renowned originator of the bullwhip effect theory, in person. It was a fantastic opportunity. After listening to this seminar, I would like to share my reflect..

https://eunhye-zz.tistory.com/14 [Jupyter notebook] 아나콘다 가상 환경 생성 및 활용 파이썬을 사용하면서 여러 패키지들을 설치하다보면 어느 순간 에러가 뜨는 경우가 생기게 됩니다. 또 다양한 프로젝트들을 진행함에 따라 사용하는 패키지들의 버전이 달라지게 되는데 이때 eunhye-zz.tistory.com

- 문제 : 'RuntimeError: CUDA out of memory.' -> 모델이 계산량이 많고, 데이터 배치 사이즈가 커서, 에러가 남. 보통 batch size를 줄이라고 하던데, 8까지 줄여봐도 효과 없었음 (아래 링크 참고) https://github.com/pytorch/pytorch/issues/16417 RuntimeError: CUDA out of memory. Tried to allocate 12.50 MiB (GPU 0; 10.92 GiB total capacity; 8.57 MiB already allocated; 9.28 CUDA Out of Memory error but CUDA memory is almost empty I am currently training a ligh..

* 문제: sklearn import 하다가 에러 남 * 해결방안 : 아래의 모듈 다 재설치함 conda install numpy scipy joblib scikit-learn --force-reinstall ImportError: cannot import name 'issparse' from 'scipy.sparse' (unknown location) · Issue #16727 · scikit-learn/scikit-learn Hi I am trying to run this command on Jupyter: from sklearn.ensemble import RandomForestRegressor however I got the following error, I already tried to rein..

1. Cuda 버전 확인 - window cmd 창에서 아래 코드로 Cuda version 확인 >> nvcc - V - cuda 11.0 버전임 2. Pytorch와 CUDA 버전 맞추기 - 아래 링크에서 CUDA 버전에 맞게 Pytorch 설치 https://pytorch.org/get-started/previous-versions/ PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org

1. Error message : OSError: [WinError 127] 지정된 프로시저를 찾을 수 없습니다 - Python Geometric 모듈을 import하다가 이런 에러가 남 - 프로시저 시작 지점 ~\torch_sparse\_version.pyd에서 찾을 수 없습니다 --> 이런 창이 뜸 2. 해결방법 - 대박 이틀만에 해결했다;; 시도한 방법 순서) 1. NVIDIA Driver, CUDA, CUDNN, Torch 싹 지우고 재설치 - 내 로컬에 깔려있던 CUDA 버전이 Pytorch 1.11.0 버전이랑 호환이 안됨 - Python Geometric을 실행시키기 위한 최소 버전도 안되어서 모두 재설치함 - "프로그램 삭제"에 들어가서 NVIDIA 관련된 프로그램 모두 삭제함.. 1.1...

1. Graph Graph의 구성 Graph Representation Degree Neighborhood Normalization 2. Graph Neural Networks(GNN) GNN Tasks GNN Learning Process GNN Variants 1. Graph 1) Graph의 구성 Graph Data Structure는 Node(그래프 하나의 원소)와 Edge(노드들 간의 연결 관계)로 이루어져 있다. Graph G = (V, E) V: nodes, E: edges, weight(edge property) Graph Data: Data 간의 Relation이 포함되어 있는 Data임. node들 간의 관련성을 표현하는 것이 매우 중요함 Graph는 Directed Gra..

1. Key, Query, Value 2. Self-Attention 3. Attention in Transformer 1. Key, Query, Value Key(K), Query(Q), Value(V)는 Attention의 핵심 키워드. Key, Query, Value의 특징은 아래와 같음 Dictionary 자료 구조이므로, Query와 Key가 일치하면 Value를 리턴함 Dictionary 자료형의 결과 리턴 과정 (attention score를 계산하는 과정과 유사) 1) key와 value의 유사도를 계산 2) 유사도와 value를 곱함 3) 유사도와 value를 곱한 값의 합을 리턴 K, Q, V가 Attention에서는 어떻게 사용될까? Attention이란, query와 k..

Transformer는 구글이 발표한 논문인 "Attention is All you Need"에서 나온 모델이며, Encoder-Decoder를 따르면서도 Attention만으로 구현한 모델이며 자연어 처리의 한 획을 그은 개념입니다. 자연어처리(NLP: Natural Language Processing) 분야를 발전시킨 모델이며, BERT 등의 최신 Text 모델에서 기본적으로 사용하는 구조입니다. 이 논문을 읽는 이유: 모델을 Explainable하게 설계할 수 있는 Attention 개념을 공부하여, 이 개념이 적용된 다른 DL(Deep Learning) 알고리즘을 이해하여 응용하기 위함입니다. 기존 자연어처리..

1. Survival Analysis 란? Survival Analysis(생존 분석)은 어떤 사건의 발생 확률을 시간이란 변수와 함께 파악하는 통계분석 및 예측 기법이다. Survival Analysis는 Healthcare 분야에서 많이 사용된다. 시간에 따른 환자의 수명을 예측한다거나 나이가 듦에 따라 질병에 걸릴 확률을 계산하는 것이 대표적인 예시이다. Survival Analysis에서 중요한 것은 시간이 흐르며 사건이 발생할 확률이 변한다는 것이다. 기존에는 어떤 일이 발생할 확률을 "Yes or No"라고 했다면, Survival Analysis는 "환자가 t 시점에서 사망할 확률은 a %이다"라고 대답한다. 2. Survival Analysis 용어 정리 Survival Analysis의 ..