https://github.com/sweetkco/NIA2020AnnotationTools

Introduction

한국 정보화 진흥원 2020 인공지능 데이터셋 어노테이션 툴 입니다

본 툴에서 제공하는 기능

  • video 파일 업로드 및 프레임 단위 이미지 분할
  • 2D Human pose estimation을 위한 2D Keypoint dataset 구축
  • 3D Human pose estimation을 위한 3D Keyopint dataset 구축
  • Human shape recovery를 위한 rotation, shape params(SMPL), trans params(SMPL)

사용 방법은 아래와 같습니다.

1

2

3

4

5

6

7

 

8

9

 

10

AIHUB(피트니스 자세 이미지)데이터를 활용하고자 YOLOv8모델과 Media Pipe 모델의 키포인트를 비교하였습니다.

AI HUB<24> COCO(YOLO)<17> MediaPipe<32>
Nose(0) 코(0) 코(0)
Left Eye(1) 왼쪽 눈(2) 왼쪽 눈(5)
Right Eye(2) 오른쪽 눈(1) 오른쪽 눈(2)
Left Ear(3) 왼쪽 귀(4) 왼쪽 귀(8)
Right Ear(4) 오른쪽 귀(3) 오른쪽 귀(7)
Left Shoulder(5) 왼쪽 어깨(6) 왼쪽 어깨(12)
Right Shoulder(6) 오른쪽 어깨(5) 오른쪽 어깨(11)
Left Elbow(7) 왼쪽 팔꿈치(8) 왼쪽 팔꿈치(14)
Right Elbow(8) 오른쪽 팔꿈치(7) 오른쪽 팔꿈치(13)
Left Wrist(9) 왼쪽 손목(10) 왼쪽 손목(16)
Right Wrist(10) 오른쪽 손목(9) 오른쪽 손목(15)
Left Hip(11) 왼쪽 골반(12) 왼쪽 엉덩이(24)
Right Hip(12) 오른쪽 골반(11) 오른쪽 엉덩이(23)
Left Knee(13) 왼쪽 무릎(14) 왼쪽 무릎(26)
Right Knee(14) 오른쪽 무릎(13) 오른쪽 무릎(25)
Left Ankle(15)   왼쪽 발목(28)
Right Ankle(16)   오른쪽 발목(27)
Neck(17)    
Left Palm(18)    
Right Palm(19)    
Back(20)    
Waist(21)    
Left Foot(22) 왼쪽 발(16)  
Right Foot(23) 오른쪽 발(15)  
    오른쪽 눈 안쪽(1)
    오른쪽 눈 밖(3)
    왼쪽 눈 안쪽(4)
    왼쪽 눈 밖(6)
    입 오른쪽(9)
    입 왼쪽(10)
    오른쪽 새끼손가락 관절(17)
    왼쪽 새끼손가락 관절(18)
    오른쪽 검지손가락 관절(19)
    왼쪽 검지손가락 관절(20)
    오른쪽 발뒤꿈치(29)
    왼쪽 발뒤꿈치(30)
    오른쪽 발가락(31)
    왼쪽 발가락(32)

Keypoint detection 모델을 사용하기에 앞서, 키포인트를 비교함으로써, 적합한 키포인트 사용하여 성능을 높이고자 비교하였습니다.

AIHUB데이터는 키포인트가 24개로 이루어져있습니다.

YOLO(1-stage detector 방식)는 coco데이터셋으로 학습되었으며, 키포인트는 17개로 이루어져있습니다.

Media Pipe (2-stage detector 방식)는 키포인트가 32개로 이루어져있습니다.

 

+ Recent posts