자세 추정 연구 동향

사람의 자세추정(Human Pose Estimation)하기 위해 연구는 꾸준히 지속되었으나 딥러닝의 적용은 2014년 부터 진행되었다. 딥러닝 기반으로 처음 자세추정을 연구한 논문은 CNN+FCN(fully connected layer)을 통해 이미지 상의 좌표 x, y를 추정하는 논문이였다.

(FCN image, ref : https://royalsocietypublishing.org/doi/10.1098/rspa.2019.0662)

x, y를 너무 정확하게 예측하는 것에 한계가 있다 느껴, 얀 르쿤 께서는 output을 x, y 좌표 대신 확률값으로 output을 나타내고자 하여, heatmap을 이용하였다. Points에 대해 Gausian 필터를 거쳐 2D 이미지화하여, 좌표에 대한 확률값을 사용하여 정확도 향상을 이뤄냈다.

기존 얀르쿤의 연구에서도 Human body 의 구조적 정보라던지 context를 이용하지 못하는 단점이 있었다. Receptive field를 크게 해야 전반적인 Context 정보를 고려할 수 있으므로 2016년도에 stacked hourglass network라는 알고리즘이 생겼다. 해당 알고리즘의 모델 구조는 모래시계의 형태를 띄어 레이어 사이즈가 점점 작아졌다 다시 커지는 형태를 반복한다. Pooling과정에서 전역적으로, upscaling 과정에서 지역적으로 정보를 고려할 수 있게 된다.  

이후 한 이미지 내 여러 사람의 자세를 추정하거나, 2D 포즈를 3D 포즈로 추정하는 기법 등 다양한 연구가 진행되고 있다.

Efficient Net

Efficient Net의 기본 목적은 모델 이름처럼 효율적인 모델을 만드는 데에 있다. 해당 연구에서는 파라미터 수로도 좋은 성능을 나타내는 결과를 달성하였다. 기존 다른 연구들을 살펴보면 모델 성능 향상을 위해 레이어를 늘리는 방법, 필터 개수를 늘리는 방법(Channel Width), 입력 이미지의 해상도를 높이는 방법(Resolution) 을 활용한다. Efficient Net은 이 3가지 방법의 최적의 조합을 찾은 논문이다.

모델별로 추천하는 입력 이미지 크기

EfficientPose Net

기존 자세 추정을 위한 논문들은 또 하나의 문제점을 가지는데, 계산량이 많다는 문제점이다. 따라서 해당 논문에서는 EfficientNet을 활용한 단일 사람에 대한 자세 추정 알고리즘을 제안하였다.

참고 자료

Human Pose Estimation 기술 동향
[AI 콜로퀴움] 이경무 교수님의 ‘Human Pose Estimation 기술의 발전과 미래’ 강연을 보고 정리한 글이다. (해당 강연은 www.youtube.com/watch?v=GBpnsFfLt2Q 에서 확인할 수 있다.) < 딥러닝 이전의 휴먼포즈 추정기법 > * 초창기 접근 방법 : pictorial structure model - 사람의 신체를 신체부위(part)와 관계(spring)로 모델링. 영상에서 해당 부위를 매칭함으로써 포즈 추정. 최초의 휴먼포즈 추정 기법 - Mixture of parts : 더 작은 단위의…
Human Pose Estimation 이란? (2022)
Human Pose Estimation Ultimate Overview in 2022 Human Pose Estimation with Deep Learning - Ultimate Overview in 2022 - viso.ai Pose Estimation is a computer vision technique to predict and track the location of a person or object. List of use cases and architectures. viso.ai 위의 글을 해석하여 정리한 글입니다. Pos…

[분석] Stacked Hourglass Networks for Human Pose Estimation
GitHub - yuanyuanli85/Stacked_Hourglass_Network_Keras: Keras Implementation for Stacked Hourglass Network
Keras Implementation for Stacked Hourglass Network - GitHub - yuanyuanli85/Stacked_Hourglass_Network_Keras: Keras Implementation for Stacked Hourglass Network

[논문 리뷰] EfficientNet 정리 (MobileNet 부터 EfficientNet 까지)
이전글 : [AI/Self-Study] - EfficientNet 모델 구조 EfficientNet 모델 구조 EfficientNet - B0 baseline 네트워크 구조 EfficientNet B0 전체 모델 구조 파악 MBConv1 Block 구조 (= mobile inverted bottleneck convolution) MobileNetV2 and MobileNetV3 Depthwise Separable Convoluti.. lynnshin.tistory.com 1. EfficientNet 설명 (2019, 2020) Ef…

EfficientPose: Scalable single-person pose estimation - Applied Intelligence
Single-person human pose estimation facilitates markerless movement analysis in sports, as well as in clinical applications. Still, state-of-the-art models for human pose estimation generally do not meet the requirements of real-life applications. The proliferation of deep learning techniques has re…
GitHub - daniegr/EfficientPose: Scalable single-person pose estimation
Scalable single-person pose estimation. Contribute to daniegr/EfficientPose development by creating an account on GitHub.
[Pose Estimation] EfficientPose : Scalable single-person pose estimation
Groos, Daniel, Heri Ramampiaro, and Espen Ihlen. “EfficientPose: Scalable single-person pose estimation.” arXiv preprint arXiv:2004.12186 (2020). Paper : arxiv.org/abs/2004.12186 EfficientPose: Scalable single-person pose estimation Human pose estimation facilitates markerless movement analysis in s…