부경대학교 컴퓨터공학부 PR&ML 연구실
𝄞연구분야: Deep learning, Pattern Recognition, Computer Vision, Time-series analysis
𝄞연구실 소개
PR&ML Lab (Pattern Recognition & Machine Learning LAB, 지도교수 장원두)은 2020년 부경대학교에 설립된 연구실이다. 영상데이터, 시계열 데이터, 패턴 인식 등 다양한 데이터를 인식/예측하는 것을 주요 연구과제로, 2022년 11월 현재 10명의 석박사 연구원이 활발한 연구를 수행하고 있다[그림1].
𝄞연구분야 소개
최근 다루고 있는 데이터는 1) 생체전기신호, 2) 치아 X선 영상, 3) X밴드 레이더 영상, 4) 수중음향신호이며, 5) 여러 도메인의 데이터에 대한 딥러닝 성능을 전반적으로 향상시킬 수 있는 딥러닝 모델 구조에 대한 연구도 함께 진행중이다.
1) 생체전기신호의 분석과 인식을 위한 딥러닝 모델 개발
생체신호는 연구실에서 보유한 장비와 프로그램을 기반으로 구축된 환경에 데이터가 수집·처리되며, 본 연구실에서는 안구전도 (EOG, Electrooculography), 뇌파 (EEG, Electroencephalogram), 맥파 (PPG, photoplethymogram) 등의 신호를 분석한다. 또한, 생체신호의 보다 효과적인 분석과 인식을 위해 가속도/자이로센서의 신호를 함께 측정하기도 하여, 여러 시계열 신호를 동시에 인식하여 상호작용을 분석하는 연구를 수행하기도 한다.
여러 생체신호 중 안구전도는 본 연구실에서 가장 많이 연구된 생체신호이며, 안구전도를 활용하는 인간-컴퓨터 인터페이스(HCI) 개발에 있어서 많은 수의 논문을 출판하였다. 최근에는 딥러닝을 활용해 효율적인 시선 추적 기술, 신호의 분리, 안정성 있는 패턴 인식 및 비동기 시스템 등을 연구하고 있다.
또한, 고신대학교 의과대학과의 협업을 통해 관절전도신호를 분석하는 연구를 수행중이며, 데이터를 수집[그림2] 및 분석하여 임상적으로 활용 가능한 지표를 개발하는 것을 목표로 연구중이다.
2) 치아 X선 영상으로부터의 나이 추정
치아의 X선 영상[그림4]은 개인의 특징을 식별할 수 있는 다양한 정보를 가지고 있으며, 신원미상 사체의 신원을 확인하는 등에 사용된다. PR&ML 연구실에서는 전남대학교 의공학과와 협업하여 치아 X선 영상으로부터 사람의 나이를 추정하는 연구를 수행중이며, 자체 개발중인 딥러닝 모델을 통해 비교적 높은 수준의 정확도를 획득하였다.
3) X-밴드 레이더 영상을 사용하는 파고 추정
선박 주변의 파도 및 해양 상황의 인식 기술은 자율주행선박의 개발을 위해 필수적인 기능 중 하나다. 본 연구실에서는 동명대학교 해양모빌리티학과와의 협업을 통해 해상 X-밴드 레이더 영상을 획득하고, 단기간의 연속 영상을 통해 파도의 높이를 추정하는 딥러닝 모델을 개발하고 있다. 이를 통해 야간에도 선박 주변 상황을 손쉽게 파악하여 자율주행선박의 발전에 기여할 수 있을 것으로 기대된다 [그림3].
4) 수중음향 신호
수중음향 신호는 바닷속에서 녹음된 음향 신호다. 바다를 항해하는 선박은 다양한 소음을 발생시키며, 최근 선박의 대형화 및 고속화로 인해 선박소음이 지속적인 증가추세를 보여 해양 생태계에도 큰 영향을 미칠 것이라 우려된다. 본 연구에서는 이러한 선박 소음을 자동으로 탐지하는 기술을 개발하여, 현재 이에 사용되는 전문인력의 피로도를 낮추고 보다 생산적인 일에 집중할 수 있도록 돕는다. 현재 한국해양과학기술원(KIOST)과의 협력을 통해 배경소음과 선박소음을 분류하는 연구를 수행중이며[그림 6], 향후 선종 및 해양동물소리의 자동분류 연구를 수행할 예정이다.
5) 딥러닝 모델 구조 연구
앞서 살펴본 바와 같이, 연구실에서는 딥러닝을 사용하는 데이터 인식 문제를 전반적으로 다루고 있으며, 각 데이터에 특화된 딥러닝 모델의 개발 또한 진행하고 있다. 또한, 이와 함께 여러 종류의 데이터들에 대해 전반적으로 성능을 높일 수 있는 다양한 네트워크 구조 및 학습 방법에 대해서도 연구를 수행하고 있다.
최근, 본 연구팀은 크로스 도메인(Cross-domain)에서의 학습을 위한 딥러닝 네트워크를 디자인하고 있으며, 이를 통해, 적은 수의 데이터가 서로 공유하는 핵심적인 특징을 학습할 수 있을 것으로 기대하고 있다. 또한, 얕은(Swallow) 네트워크에서 학습되는 정형 데이터를 위한 딥러닝 구조에 대한 연구 또한 수행중이다. 이 연구결과는 국내외 저널 및 학회에 투고 예정이며 이를 통해 본 연구실의 연구 분야가 보다 확장될 수 있을 것으로 기대된다.
𝄞주요 활동 소개
이와 같은 다양한 분야의 연구를 통해, 연구책임자는 2009년부터 20여편의 SCI급 국제 논문을 출판하였으며, 다수 학회에서 연구성과를 발표하였다.
PK&AI LAB은 국내외 다양한 연구실 및 기관과 협업 중이며, 이를 통해 데이터의 획득과 분석에 도움을 받고 있다. 다음은 현재 협업중인 기관과 수행중인 공동연구의 목록이다.
| 기관명 | 연구주제 |
| 한국해양과학기술원 | 수중음향신호의 분류와 예측 |
| 연안 침식 모델(디지털 트윈)의 개발 | |
| 연안 빅데이터 분석 교육과 성과 확산 | |
| 일본 Aizu University | 스마트워치를 사용하는 제스쳐 인식 |
| 일본 Yamanashi University | 뇌파를 사용하는 감정인식 |
| 동명대학교 해양모빌리티학과 | X밴드 레이더 영상을 사용하는 파고 추정 |
| 전남대학교 의공학과 | 치아 X선 영상을 사용하는 나이 추정 |
본 연구실은 한국연구재단, 한국지능정보사회진흥원(NIA), 한국해양과학기술원(KIOST) 등의 지원을 통해 연구과제를 수행하고 있다. 다음은 현재 수행중인 연구과제의 목록이다.
| 연구과제명 | 연구기간 | 지원기관 |
| 행동인식에 기반한 온 디맨드 인간-컴퓨터 인터페이스에 관한 연구 | 20.06.01- | 한국연구재단 |
| 딥러닝 기반 보행자 맞춤형 스마트 사이니지 | 22.08.08- | 부경대학교 산학협력단 |
| 연안재난 빅데이터 플랫폼 및 센터 구축 | 22.06.29- | 한국지능정보사회진흥원 |
| 해양방위 지원용 수중음향 자동식별을 위한 인공지능(AI)기반 분석 기술 연구 | 22.03.01- | 한국해양과학기술원 |
| 첨단 해양산업 오픈랩 구축 및 실감형 융합 콘텐츠 개발 | 22.03.01- | 한국산업기술진흥원 |
| 아이웨어 기기를 위한 마이크로 디스플레이용 저지연 다기능 컨트롤러 개발 | 21.04.01- | 한국산업기술평가관리원 |
위 과제 중 ‘행동인식에 기반한 온디맨드 인간-컴퓨터 인터페이스 개발’은 스마트워치 및 안구전도 측정 기기를 사용하여 팔과 시선의 움직임을 측정하고, 이를 복합적으로 활용하여 특별한 트리거 없이 모바일 장치를 조작하는 것을 목표로 한다.
‘딥러닝 기반 보행자 맞춤형 스마트 사이니지’과제는 기업과 함께 수행하는 산학공동과제다. 디지털 사이니지는 백화점 등에 설치된 광고 패널로써, 온라인 상에서의 광고와는 달리, 대부분 일관된 광고가 제공되고 있다. 해당 사업은 딥러닝을 활용해 사이니지에 근접한 보행자의 인상착의, 연령대 등을 예측해 초개인화된 광고를 추천하는 시스템을 개발하는 것이 목적이며, 본 연구실에서는 딥러닝 기반의 보행자 인식 및 연령 추정 모델을 개발한다.
‘해양방위 지원용 수중음향 자동식별을 위한 인공지능(AI) 기반 분석 기술 연구’과제에서는 해양에서 발생되는 수중소음을 분석하여 해양방위에 지원 가능한 AI 알고리즘을 개발한다. 수중에서 발생되는 개별 소음원 신호를 분석하고 이를 통해 효과적인 소음원 분류 AI 모델을 개발하는 것을 목표로 한다.