[CS224W] Lecture 6

Person

Title

Graph Neural Networks 1: GNN Model

비고

Recap

•

Similarity function의 필요성

◦

원래 그래프에서 가까운 두 node의 embedding도 비슷하게 되었는지 확인해야 함

◦

비슷한 embedding이라는 것은 내적으로 확인, similar한지 어떻게 확인할 것인지 결정 필요

•

Shallow encoder의 단점

◦

많은 수의 파라미터 필요

◦

Transductive

◦

Node feature 적용 불가

•

Naive approach

◦

Adjacency matrix랑 feature를 이어서 DNN에 넣으면 안될까?

◦

서로 다른 순서의 표현형에 대해 다르게 나타나므로 안됨

•

Permutation invariance and permutation equivariant

◦

Order plan 1으로 가든, Order plan 2로 가든 함수의 결과가 같아야 하고, 이것이 permutation invariant

◦

Permutation 결과에 따라서 output의 결과도 같이 바뀌면 permutation equivariance → aggregation 전 까지는 permutation equivariance 해야함

◦

Permutation invariant

◦

Permutation equivariant

•

Neighborhood aggregation

◦

Neighborhood의 정보를 모으고, 모은 정보를 NN에 통과시킴

◦

이런 형태는 각 node에 대해 computation graph를 만듦

◦

Computational graph가 한층 깊어질 때마다 1-hop connection 더 표현

•

Mathematical expression

◦

개별 node에 대한 식은 아래와 같음. 내 주위 node 정보 합쳐서 MLP 통과 시키고, 내 자체 정보도 MLP 통과 시킨 이후에 더하고 non-linear function에 넣겠다는 의미

◦

이때 행렬 WkW_kWk​와 BkB_kBk​가 학습 대상이며, k번째 layer에 대해서 globaly share됨

◦

행렬 형태로 다시 바꿔서 표현하면, normalize하는 부분까지 포함해서 아래와 같이 표현 가능

•

GNN subsume CNN and Transformer

◦

사실 엄밀히 말하면 완전 subsume은 아님

◦

단어들 사이의 관계를 본다는 점에서 attention과 유사