AI
Songtao Liu, Rex Ying,Hanze Dong, Lanqing Li, Tingyang Xu, Yu Rong, Peilin Zhao, Junzhou Huang, Dinghao Wu1. 그래프 신경망(GNN)은 이웃 노드 정보 집계에 의존하지만, 이웃이 적은 노드의 표현 학습에 한계가 있습니다. 2. 본 논문은 중심 노드의 특징에 기반하여 이웃 노드의 특징 분포를 학습하고 추가적인 특징을 생성하는 로컬 증강(Local Augmentation) 기법을 제안합니다. 3. 이 플러그-앤-플레이 방식의 기법은 다양한 GNN 모델에 쉽게 적용 가능하며, 여러 벤치마크에서 특히 저연결 노드의 성능을 포함하여 GNN의 전반적인 성능을 향상시키는 것으로 나타났습니다. 초록GNN의 한계점을 해결하기 위한 데이터..
On k-Path Covers and their Applications, Stefan Funke, Andre Nusser, Sabine Storandt 1. 대규모 도로 네트워크에서, 길이가 k인 모든 경로에 대해 최소 하나 이상의 노드를 포함하는 작은 노드 집합 (k-Path Cover)를 구성하는 문제를 다룬다.2. 위 k-Path Cover를 실제 대규모 그래프에서 매우 작게 효율적으로 구축할 수 있는 Pruning 알고리즘을 제시하며, 이는 기존 k-Shortest-Path Cover 방법보다 더 나은 결과를 얻는다.3. 구성된 k-Path Cover는 오버레이 그래프의 기반이 되어, 사용자별 선호도를 반영하는 개인화된 경로 계획 질의를 기존 Dijkstra 알고리즘보다 훨씬 빠르게 처리 가능하다..
RNN의 문제점RNN은 과거 입력들이 계속 연결된 구조이기에,역전파 과정에서 gradient가 계속 곱해지면서 weight가 1보다 작으면 gradient가 점점 작아져 사라지고(vanishing),1보다 크면 gradient가 점점 커져서 폭발하게 된다(exploding).이러한 문제는 RNN이 장기 의존성을 학습하는 데 큰 방해가 된다.그나마 exploding 문제는 gradient clipping을 하면 되지만, vanishing gradient 문제는 RNN의 구조를 바꿔야 할 필요가 있다.그래서 나타난 것이 LSTM이다. LSTM(Long Short Term Memory)기울기 소실/폭발 문제를 해결하기 위해 등장한 구조로,핵심 아이디어는 '정보를 장기적으로 유지할 수 있는 cell state..
이제 딥러닝 모델의 크기가 점점 커지고 있다.따라서 당연하게도 연산량과 파라미터 수도 증가한다. 이는 메모리, 계산 자원, 배터리 등에 부담을 준다.Vision 분야, NLP 분야 둘 다 그렇다. 따라서 이에 대해 두 가지 해결책을 제시했다. 당연히 이 둘의 목적은 모델 사이즈 축소+계산 효율성 향상+적은 에너지 사용이다. 1. Pruning보라 : 걍 단순 가지치기, 초록 : 가지치기 하고 성능 하락 보완 위해 재학습, 빨강 : 가지치기-재학습-가지치기 ... 불필요한 연결(synapse)이나 뉴런을 제거하는 가지치기 기법이다. 인간의 뇌에서도 자연스럽게 pruning이 수행된다.보통 2-4살 때는 사물의 어떤 것을 기억해야 할지 잘 모르기 때문에 모든 것을 기억하려 한다.이때 synapse per..
CNN Applications Object detectionobject(classification)+region(regression) -> 각 object의 사각범위와 label을 구하는 task Computer vision tasks입력->원하는 출력->새로운 네트워크 구조 설계 Image classification이미지 입력->softmax->클래스 확률, 예측-실제 정답 CE loss로 비교 Semantic segmentation픽셀 단위로 클래스 분류-> CE loss로 픽셀 단위 정답과 예측간 손실 계산, IoU(교집합/합집합)로 학습(but IoU가 미분 불가능하기에 보통 IoU 베이스 soft IoU나 dice 사용)자율주행, 의학이미지, 위성사진 등 하지만 이 semantic segment..
Convolution특징 맵(feature map)은 3차원(h, w, c) 구조를 가진다. 얘네끼리 더하려면 당연하게도 h, w, c가 모두 같아야 한다. 하지만 이어붙이려면 h, w만 같으면 된다. Atrous(Dilated) convolution커널 자체에 stride를 집어넣는다? 라고 생각하면 될 듯하다. 커널의 파라미터 수는 그대로 유지하면서, 커널의 크기를 넓히면서 다양한 공간 해상도의 특성을 포착할 수 있다.위 그림처럼 다양한 크기의 dilation을 병렬로 구성하여 입력에 대한 멀티스케일 context 정보를 추출할 수 있어 효과적이다. 아니면 이렇게 filter composition을 통해 이미지 분할 또는 장면 이해에 사용할 수 있다. Transposed Convolution(Deco..
본 게시글은 충남대 정상근 교수님의 강의자료를 바탕으로 작성한 글입니다. LLM의 문제점1. Hallucination나는 가끔 ChatGPT에게 질문을 하고 답변을 얻어도, 약간 미심쩍을 때가 많았다. 그 이유가 Hallucination 때문이다. 이는 LLM이 자연스러운 답변을 위해 거짓이어도 내용을 만들어내는 것이다.또한 Transformer는 AutoRegression을 수행하는데, 앞에서 Hallucination 발생시 뒤쪽도 당연히 이상해진다. 2. 계산량내가 LLM에게 참고하라고 알려주고 싶은 자료가 너무 많은데, LLM은 입력 정보가 많을수록 계산량이 기하급수적으로 증가한다. 3. 실시간성만약 LLM을 2023년도까지의 문서들로만 학습을 시켜놨다면, 그 이후 업데이트된 정보는 LLM이 모를..
