ݺߣ

ݺߣShare a Scribd company logo

서울혁신챌린지 라이브 드론맵 기반 스마트 모니터링 솔루션

•
•
Impyeong Lee
Impyeong Lee

시설물에 대한 정기적인 안전진단이나 긴급한 피해조사를 실시간/자동으로 정밀하게 수행하는 라이브 드론맵 기반 스마트 시설물 점검 시스템/서비스

1 of 28
Download to read offline
L o g o 라이브 드론맵 기반 스마트 모니터링 솔루션 (스마트 라이브 드론) 2017 최경아, 조수진, 이임평 ㈜이노팸, ㈜티아이랩, 서울시립대학교 공간정보공학과, 토목공학과, 대도시무인이동체연구센터 2017 서울혁신챌린지
L o g o 아이디어 / 제품  라이브 드론맵 기반 스마트 모니터링 솔루션  교량 등 시설물 피해조사/안전진단을 수행하는 멀티센서 드론 기반 실시간 지능형 모니터링 시스템/서비스  실시간 드론 매핑 & 공유 솔루션인 "라이브 드론맵" 기술과 딥러닝 기반 다중센서 데이터 분석 기술을 융합 2
L o g o 필요성/중요성 – 다리가 붕괴? 3  설마 다리가 무너지나요??  성수대교 붕괴: 94.10.21, 17명 부상, 32명 사망
L o g o 필요성/중요성 – 요즘도? / 선진국은? 4  그건 오래 전.. 우리나라 못살 때?  미국 미네소타 고속도로(35W) 다리 붕괴: 2007.8.1 145명 부상, 13명 사망
L o g o 필요성/중요성 – 재해노출/피해규모 확대 5  시설물의 재해 노출 증대 및 피해규모 확대  자연 재해 증가로 인한 시설물의 위험 노출 / 지속적 피해 발생  재난 발생 시 즉각적인 현황 파악 → 복구/보수/보강 신속 수행 → 시설물 피해 예방 및 확산 방지, 복구비용 절감 가능 피해액: 7.5조 복구액:11조
L o g o 필요성/중요성 – 안전진단 수요 증가 6  시설물 안전진단 수요 증가: 국민의 안전과 직결되어 있 어 체계적인 시스템 필요  서울시 교량 중 30년 이상 경과한 구조물이 전체의 약 30% (2016년, 도로시설물 현황 기준)이며 앞으로 노후된 시설물이 급 격히 증가할 것으로 예상됨  체계적인 시설물 안전진단 시스템의 구축을 통해 안전사고 방지 및 경제적 피해를 최소화 할 필요가 있음 45%
L o g o 필요성/중요성 – 기존 방법의 한계? 7  육안검사 → 시설물을 경제적으로 점검하는 시스템 필요  현재 시설물 유지관리는 1종과 2종 시설물(7만 8천여 개)에 대해 서만 이루어지고 있으나, 3종 시설물의 경우 약 20여만 개로 노 후화가 급속하게 진행되고 있음  기존 육안검사는 많은 노동력과 작업시간이 필요하며, 작업인력 의 위험도가 높기 때문에 다수의 시설물을 효율적으로 점검하기 위한 자동화된 시스템 필요
L o g o 제안된 솔루션으로는? 8  드론/AI기반의 자동 피해조사 및 안전진단 : 데이터를 취득/처리하여 분석하는 단계까지 고속 자동으로 수행  취득: 복잡한 구조의 시설물에 검사자가 위험하게 접근하지 않아도 시설물의 관심 부분에 대한 관측 데이터를 자동 취득  처리: 관측 데이터가 시설물의 어느 부분에 대한 것인지 신속하게 매핑하고 기존 고정밀 공간정보 상에 가시화  분석: 붕괴, 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상이 촬영된 영상을 자동으로 추출하고, 이로부터 부피, 폭, 길이, 면적, 깊이 등 속성정보를 자동으로 정량화  과학적, 경제적으로 시설물의 안전도를 평가하고, 이를 바탕으로 시설물을 유지·관리하고 피해를 최소화 → 국가 SOC 신뢰도 향상하고, 피해/복구비 절감
L o g o 솔루션의 기능/구성 9  라이브 드론맵 기반 스마트 모니터링 솔루션  실시간 드론 매핑 & 공유 솔루션인 "라이브 드론맵" 기술과 다중센서 데이터의 딥러닝 기반 분석 기술을 융합하여 교량 등 시설물에 대한 긴급한 피해조사나 정기적인 안전진단을 실시간으로 자동으로 정밀하게 수행하는 시스템/서비스  시스템 구성  1) 센서 데이터 자동 취득 시스템  2) 실시간 매핑 및 가시화 시스템  3) 인공지능 기반 분석 시스템 라이브 드론맵 (Live Drone Map)
L o g o Live Drone Map (for UN Field Operation) 10  UAV Based Real-time Mapping & Sharing Solution  We combine the real-time mapping solution with a cloud based geo-data sharing solution.  Users in distant areas with Internet can access the image maps updated in real-time using UAV systems during its flight.  The image maps are visualized in 2D/3D with existing geo-data without any plug-in software through a standard web-browser on a desktop computer or even mobile devices.  Smartphone images can be uploaded and shared.
L o g o Visualization in Live Drone Map 11 3D on a Desktop Computer 2D on a Smartphone
L o g o Applications of Live Drone Map 12 2. Real-time Data Collection 4. All-source Situation Room 1. Disaster Occurance UAV + Sensor payload(camera+GPS/INS) Real-time transmission of images and Pos./Att. Real-time transmission of imagery maps 3. Real-time Mapping
L o g o  Integrated with MCC on Apr. 27, 2017. Demonstration at UN GSC , Italy 13 Mission Area (GIS team/patrol) MCC Mission HQ (Commander) San Pancrazio Airfield UN GCS, Brindisi New York 40 km > 10 hour via flight
L o g o Demonstration at UN GSC , Italy 14
L o g o Demonstration at UN GSC , Italy 15
L o g o 3rd Demonstration : UAV Air Field 16
L o g o Demonstration at UN GSC , Italy 17
L o g o Demonstration at UN GSC , Italy
L o g o Demonstration at UN GSC , Italy 19
L o g o Demonstration at UN GSC , Italy 20
L o g o (1) 센서 데이터 자동 취득 시스템 - 기능 21  재해 상황이 발생한 경우 자동 수립된 비행경로를 따라 다중센서를 탑재한 드론이 대상지역 상공을 비행하며 영상을 취득하면서 동시에 드론 위치자세 데이터와 함께 실시간으로 지상으로 전송  피해 지역으로 탐지된 영역에 대하여 근접 비행 계획을 수립하고, 이에 따라 고해상도의 다중센서 데이터를 취득하여 지상으로 실시간 전송  안전진단 주기에 따라 점검대상 시설물의 근접 영상을 자동으로 취득하고 지상에 있는 서버로 전송
L o g o (1) 센서 데이터 자동 취득 시스템 - 구성 22  자동 비행 계획 SW: 대상영역/시설물의 3차원 모델을 기반으로 요구해상도의 다중센서 데이터를 취득하기 위한 비행경로를 자동으로 산출하는 비행 계획 SW  드론 다중센서 시스템: 드론에 탑재된 카메라 및 GPS/INS 센서로부터 데이터를 취득하고, 취득된 데이터를 GPS 시간으로 동기화하는 데이터 취득 HW  실시간 송수신 시스템: 지상으로부터 비행경로를 수신 받고, 취득된 다중센서 데이터를 실시간으로 지상에 송신하는 통신 시스템
L o g o (2) 실시간 매핑 및 가시화 시스템 - 기능 23  재해 상황이 발생한 경우 전송된 다중센서 데이터를 실시간 자동 처리하여 피해 지도를 생성하고 기존 공간정보와 중첩하여 데스크탑 웹브라우져를 통하여 3차원으로, 스마트폰 웹브라우져를 통하여 2차원으로 가시화하여 제공함으로써 관계자들이 공유하여 신속하게 대응 조치를 취할 수 있도록 함  안전진단 수행 시 전송된 다중센서 데이터를 고속으로 자동 처리하여 시설물의 3차원 모델을 생성하고 기존 공간정보와 중첩하여 변화나 이상 현상을 인지할 수 있도록 함
L o g o (2) 실시간 매핑 및 가시화 시스템 - 기능 24
L o g o (2) 실시간 매핑 및 가시화 시스템 - 구성 25  실시간 기하보정 영상 생성 SW: 지상으로 전송된 영상과 GPS/INS 데이터를 융합하여 실시간으로 기하보정하여 지오포탈에 전송하는 SW  고속 3차원 모델 생성 SW: 조밀한 영상 매칭과 텍스쳐링을 수행하여 피해지역 또는 시설물의 3차원 모델을 고속으로 생성하고 지오포탈에 전송하는 SW  실시간 3차원 공간정보 가시화 SW: 영상지도와 3차원 모델로 지오포탈의 공간정보 DB를 갱신하고, 데스크탑이나 스마트폰에서 HTML5를 지원하는 표준 웹브라우져를 통해 지오포탈에 접속한 다수의 사용자에게 기존의 공간정보와 중첩하여 2차원 또는 3차원으로 가시화하여 제공하는 SW
L o g o (3) 인공지능 기반 분석 시스템 - 기능 26  학습된 시설물 피해조사 및 안전진단 인공지능을 활용하여 재해 종류 및 피해 규모를 자동으로 산정하여 응급복구 정책결정을 지원하거나 시설물에 발생한 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상을 조기에 탐지하고 두께, 길이, 면적, 부피 등의 정보를 산출하여 보수, 보강 등의 조치를 취할 수 있도록 함 균열 비균열 기타 균열 비균열 기타 심화학습 기반 균열 탐지 균열영역 구분신속 균열평가
L o g o (3) 인공지능 기반 분석 시스템 - 구성 27  학습 영상 데이터베이스를 구축 시스템: 구글 이미지 검색 등 다수의 웹페이지 검색을 통하여 빅데이터 기반 시설물 붕괴, 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상이 나타난 영상을 획득하는 시스템  자동 분석을 위한 딥러닝 신경망 모델: 시설물 피해 또는 안전 이상 현상을 식별하기 위하여 개발된 딥러닝 신경망 모델로써, 드론 다중센서 데이터와 공간정보(기하보정된 영상, 3차원 모델)를 이용하여 시설물의 붕괴, 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상 탐지하고 두께, 길이, 면적, 부피 등 이에 대한 정보를 산출하는 분석 시스템
L o g o lsm.uos.ac.kr

More Related Content

서울혁신챌린지 라이브 드론맵 기반 스마트 모니터링 솔루션

  • 1. L o g o 라이브 드론맵 기반 스마트 모니터링 솔루션 (스마트 라이브 드론) 2017 최경아, 조수진, 이임평 ㈜이노팸, ㈜티아이랩, 서울시립대학교 공간정보공학과, 토목공학과, 대도시무인이동체연구센터 2017 서울혁신챌린지
  • 2. L o g o 아이디어 / 제품  라이브 드론맵 기반 스마트 모니터링 솔루션  교량 등 시설물 피해조사/안전진단을 수행하는 멀티센서 드론 기반 실시간 지능형 모니터링 시스템/서비스  실시간 드론 매핑 & 공유 솔루션인 "라이브 드론맵" 기술과 딥러닝 기반 다중센서 데이터 분석 기술을 융합 2
  • 3. L o g o 필요성/중요성 – 다리가 붕괴? 3  설마 다리가 무너지나요??  성수대교 붕괴: 94.10.21, 17명 부상, 32명 사망
  • 4. L o g o 필요성/중요성 – 요즘도? / 선진국은? 4  그건 오래 전.. 우리나라 못살 때?  미국 미네소타 고속도로(35W) 다리 붕괴: 2007.8.1 145명 부상, 13명 사망
  • 5. L o g o 필요성/중요성 – 재해노출/피해규모 확대 5  시설물의 재해 노출 증대 및 피해규모 확대  자연 재해 증가로 인한 시설물의 위험 노출 / 지속적 피해 발생  재난 발생 시 즉각적인 현황 파악 → 복구/보수/보강 신속 수행 → 시설물 피해 예방 및 확산 방지, 복구비용 절감 가능 피해액: 7.5조 복구액:11조
  • 6. L o g o 필요성/중요성 – 안전진단 수요 증가 6  시설물 안전진단 수요 증가: 국민의 안전과 직결되어 있 어 체계적인 시스템 필요  서울시 교량 중 30년 이상 경과한 구조물이 전체의 약 30% (2016년, 도로시설물 현황 기준)이며 앞으로 노후된 시설물이 급 격히 증가할 것으로 예상됨  체계적인 시설물 안전진단 시스템의 구축을 통해 안전사고 방지 및 경제적 피해를 최소화 할 필요가 있음 45%
  • 7. L o g o 필요성/중요성 – 기존 방법의 한계? 7  육안검사 → 시설물을 경제적으로 점검하는 시스템 필요  현재 시설물 유지관리는 1종과 2종 시설물(7만 8천여 개)에 대해 서만 이루어지고 있으나, 3종 시설물의 경우 약 20여만 개로 노 후화가 급속하게 진행되고 있음  기존 육안검사는 많은 노동력과 작업시간이 필요하며, 작업인력 의 위험도가 높기 때문에 다수의 시설물을 효율적으로 점검하기 위한 자동화된 시스템 필요
  • 8. L o g o 제안된 솔루션으로는? 8  드론/AI기반의 자동 피해조사 및 안전진단 : 데이터를 취득/처리하여 분석하는 단계까지 고속 자동으로 수행  취득: 복잡한 구조의 시설물에 검사자가 위험하게 접근하지 않아도 시설물의 관심 부분에 대한 관측 데이터를 자동 취득  처리: 관측 데이터가 시설물의 어느 부분에 대한 것인지 신속하게 매핑하고 기존 고정밀 공간정보 상에 가시화  분석: 붕괴, 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상이 촬영된 영상을 자동으로 추출하고, 이로부터 부피, 폭, 길이, 면적, 깊이 등 속성정보를 자동으로 정량화  과학적, 경제적으로 시설물의 안전도를 평가하고, 이를 바탕으로 시설물을 유지·관리하고 피해를 최소화 → 국가 SOC 신뢰도 향상하고, 피해/복구비 절감
  • 9. L o g o 솔루션의 기능/구성 9  라이브 드론맵 기반 스마트 모니터링 솔루션  실시간 드론 매핑 & 공유 솔루션인 "라이브 드론맵" 기술과 다중센서 데이터의 딥러닝 기반 분석 기술을 융합하여 교량 등 시설물에 대한 긴급한 피해조사나 정기적인 안전진단을 실시간으로 자동으로 정밀하게 수행하는 시스템/서비스  시스템 구성  1) 센서 데이터 자동 취득 시스템  2) 실시간 매핑 및 가시화 시스템  3) 인공지능 기반 분석 시스템 라이브 드론맵 (Live Drone Map)
  • 10. L o g o Live Drone Map (for UN Field Operation) 10  UAV Based Real-time Mapping & Sharing Solution  We combine the real-time mapping solution with a cloud based geo-data sharing solution.  Users in distant areas with Internet can access the image maps updated in real-time using UAV systems during its flight.  The image maps are visualized in 2D/3D with existing geo-data without any plug-in software through a standard web-browser on a desktop computer or even mobile devices.  Smartphone images can be uploaded and shared.
  • 11. L o g o Visualization in Live Drone Map 11 3D on a Desktop Computer 2D on a Smartphone
  • 12. L o g o Applications of Live Drone Map 12 2. Real-time Data Collection 4. All-source Situation Room 1. Disaster Occurance UAV + Sensor payload(camera+GPS/INS) Real-time transmission of images and Pos./Att. Real-time transmission of imagery maps 3. Real-time Mapping
  • 13. L o g o  Integrated with MCC on Apr. 27, 2017. Demonstration at UN GSC , Italy 13 Mission Area (GIS team/patrol) MCC Mission HQ (Commander) San Pancrazio Airfield UN GCS, Brindisi New York 40 km > 10 hour via flight
  • 14. L o g o Demonstration at UN GSC , Italy 14
  • 15. L o g o Demonstration at UN GSC , Italy 15
  • 16. L o g o 3rd Demonstration : UAV Air Field 16
  • 17. L o g o Demonstration at UN GSC , Italy 17
  • 18. L o g o Demonstration at UN GSC , Italy
  • 19. L o g o Demonstration at UN GSC , Italy 19
  • 20. L o g o Demonstration at UN GSC , Italy 20
  • 21. L o g o (1) 센서 데이터 자동 취득 시스템 - 기능 21  재해 상황이 발생한 경우 자동 수립된 비행경로를 따라 다중센서를 탑재한 드론이 대상지역 상공을 비행하며 영상을 취득하면서 동시에 드론 위치자세 데이터와 함께 실시간으로 지상으로 전송  피해 지역으로 탐지된 영역에 대하여 근접 비행 계획을 수립하고, 이에 따라 고해상도의 다중센서 데이터를 취득하여 지상으로 실시간 전송  안전진단 주기에 따라 점검대상 시설물의 근접 영상을 자동으로 취득하고 지상에 있는 서버로 전송
  • 22. L o g o (1) 센서 데이터 자동 취득 시스템 - 구성 22  자동 비행 계획 SW: 대상영역/시설물의 3차원 모델을 기반으로 요구해상도의 다중센서 데이터를 취득하기 위한 비행경로를 자동으로 산출하는 비행 계획 SW  드론 다중센서 시스템: 드론에 탑재된 카메라 및 GPS/INS 센서로부터 데이터를 취득하고, 취득된 데이터를 GPS 시간으로 동기화하는 데이터 취득 HW  실시간 송수신 시스템: 지상으로부터 비행경로를 수신 받고, 취득된 다중센서 데이터를 실시간으로 지상에 송신하는 통신 시스템
  • 23. L o g o (2) 실시간 매핑 및 가시화 시스템 - 기능 23  재해 상황이 발생한 경우 전송된 다중센서 데이터를 실시간 자동 처리하여 피해 지도를 생성하고 기존 공간정보와 중첩하여 데스크탑 웹브라우져를 통하여 3차원으로, 스마트폰 웹브라우져를 통하여 2차원으로 가시화하여 제공함으로써 관계자들이 공유하여 신속하게 대응 조치를 취할 수 있도록 함  안전진단 수행 시 전송된 다중센서 데이터를 고속으로 자동 처리하여 시설물의 3차원 모델을 생성하고 기존 공간정보와 중첩하여 변화나 이상 현상을 인지할 수 있도록 함
  • 24. L o g o (2) 실시간 매핑 및 가시화 시스템 - 기능 24
  • 25. L o g o (2) 실시간 매핑 및 가시화 시스템 - 구성 25  실시간 기하보정 영상 생성 SW: 지상으로 전송된 영상과 GPS/INS 데이터를 융합하여 실시간으로 기하보정하여 지오포탈에 전송하는 SW  고속 3차원 모델 생성 SW: 조밀한 영상 매칭과 텍스쳐링을 수행하여 피해지역 또는 시설물의 3차원 모델을 고속으로 생성하고 지오포탈에 전송하는 SW  실시간 3차원 공간정보 가시화 SW: 영상지도와 3차원 모델로 지오포탈의 공간정보 DB를 갱신하고, 데스크탑이나 스마트폰에서 HTML5를 지원하는 표준 웹브라우져를 통해 지오포탈에 접속한 다수의 사용자에게 기존의 공간정보와 중첩하여 2차원 또는 3차원으로 가시화하여 제공하는 SW
  • 26. L o g o (3) 인공지능 기반 분석 시스템 - 기능 26  학습된 시설물 피해조사 및 안전진단 인공지능을 활용하여 재해 종류 및 피해 규모를 자동으로 산정하여 응급복구 정책결정을 지원하거나 시설물에 발생한 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상을 조기에 탐지하고 두께, 길이, 면적, 부피 등의 정보를 산출하여 보수, 보강 등의 조치를 취할 수 있도록 함 균열 비균열 기타 균열 비균열 기타 심화학습 기반 균열 탐지 균열영역 구분신속 균열평가
  • 27. L o g o (3) 인공지능 기반 분석 시스템 - 구성 27  학습 영상 데이터베이스를 구축 시스템: 구글 이미지 검색 등 다수의 웹페이지 검색을 통하여 빅데이터 기반 시설물 붕괴, 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상이 나타난 영상을 획득하는 시스템  자동 분석을 위한 딥러닝 신경망 모델: 시설물 피해 또는 안전 이상 현상을 식별하기 위하여 개발된 딥러닝 신경망 모델로써, 드론 다중센서 데이터와 공간정보(기하보정된 영상, 3차원 모델)를 이용하여 시설물의 붕괴, 균열, 박락, 박리, 백태, 골재분리, 철근노출 등의 이상 현상 탐지하고 두께, 길이, 면적, 부피 등 이에 대한 정보를 산출하는 분석 시스템
  • 28. L o g o lsm.uos.ac.kr