연구 일지

2023 §

10월 §

10. 화 §

• 교수님꼐 타대 지원을 하지 않았다고 말씀드린 이후에 교수님꼐서 CVPR 2024를 목표로 하는 3D instance segmentation 프로젝트에 합류시켜 주셨다. Mask3D와 Mask-Attention-Free Transformer 에서 contribution을 더하는 방향인 것 같다. 원석님께서 일단 related works를 작성한 후에 figure를 그리는 등의 일을 하기로 했다. 일단 일요일까지 써서 드린다고 했는데, 내일 발표 전까지 한번 써보자
• 발표 전까지 초안 작성
  • transformer based 3D instance segmentation 논문 찾아보기
    • Mask3D, SPFormer, MAFT 정도가 다 인 것 같다.
  • Mask3D, SPFormer, MAFT 정독, 분석
    • Mask3D
      • 아이디어
        • Mask3D - Mask Transformer for 3D Semantic Instance Segmentation 에 정리함. 코드도 분석해서 내용 덧붙여야함.
      • Related Works
        • 3D instance segmentation
          • 기존 3D instance segmantation 연구를 접근법에 따라 분류하고,
            • bottom-up, top-down, voting-based approaches 등
            • 여기 속하지 않는 연구들도 있음. (instane mask를 바로 추정하는 연구들)
          • 이중에서 저자들의 연구와 비슷한 부분이 있거나 임펙트가 있는 연구들을 따로 언급하며 저자의 연구와 대조함.
            • MASC는 bottom-up 방식에 속하는데, multi-scale 의 피쳐를 뽑는 것이 비슷함.
            • DyCo3D는 instance mask를 직접 추정한다. 이 과정에서 dynamic convolution을 이용하는데, mask3D의 mask 추정 방법과 유사함. 하지만 추정한 mask와 annotated mask를 이용해 supervise하는 과정에서 개선의 여지가 있음
            • 3D-BoNet은 predicted mask와 annotated mask를 적절하게 비교하는 방식으로 hungarian matching을 처음 이용함. hungarian matching은 bipartite matching 방법인데, predicted mask <-> annotated mask 의 disjoint group 에서 최적의 매칭을 찾는 방법이다. 이를 통해 predicted mask를 optimal 하게 supervise할 수 있고, 저자들도 이를 이요한다.
        • Transformer
          • Transformer가 컴퓨터 비전 분야에 쓰이면서 세부 분야별로 ViT, DETR, Mask2Former 같은 유명한 모델들이 나왔음을 언급함.
          • 3D Point Cloud 분야에서 Transformer를 적용한 사례는 적고, 그러한 사례들에서는 대체로 attention을 수정해 quadrati complexity에 대처하는 연구들이라고 한다.
          • 3D Point Cloud 분야에서 Tranaformer 를 적용한 연구들을 몇 언급한다.
            • Liu et al. 는 tranformer 디코더를 단순히 object proposal refinement에만 이용한다.
            • Misra et al.은 vanila transformer 를 pointcloud 부분에 적용한 첫 연구인데, initial learned downsampling stage에만 적용한다.
            • DyCo3D (위에서도 언급됐음) 는 instance segmentation 분야에서 transformer 를 적용한 연구이지만, 저자들의 연구와는 방식이 많이 다르다.
        • 전반적으로 기존 연구들 중 저자들의 연구와 비슷한 (아마 직접 영향을 줬을) 연구들을 콕 찝어 언급하며 저자들의 연구와 비교,대조 한다.
        • DETR, MaskFormer를 자세히 언급하지 않은 점이 의아하다.
    • SPFormer
      • 일이 생겨서 내일 읽어야겠음
    • MAFT
      • 일이 생겨서 내일 읽어야겠음
  • related works 초안 작성, Mask3D, superpoint, MAFT related works 정독
    • 일이 생겨서 내일 읽어야겠음

11. 수 §

• CCTV action recognition 조사 및 데모 제작
• SPFormer, MAFT 정독, 리뷰
  • SPFormer
  • MAFT
• 이외의 3D Instance Segmentation 연구들 related works 찾아보기
• Mask2Former 대략 이해
• 회의 전까지 Related Works 초안 작성

12. 목 §

13. 금 §

14. 토 §

• DNA-HERO 발표

15. 일 §

• hungarian matching 블로그 작성
• DETR 논문리뷰
• MaskFormer 논문리뷰
• Mask3D 논문리뷰
• MAFT 논문 리뷰