Event Sensors Bring Just the Right Data to Device Makers
They’re ultraefficient because they detect only change and motion
Anatomically, the human eye is like a sophisticated tentacle that reaches out from the brain, with the retina acting as the tentacle’s tip and touching everything the person sees. Evolution worked a wonder with this complex nervous structure.
Now, contrast the eye’s anatomy to the engineering of the most widely used machine-vision systems today: a charge-coupled device (CCD) or a CMOS imaging chip, each of which consists of a grid of pixels. The eye is orders of magnitude more efficient than these flat-chipped computer-vision kits. Here’s why: For any scene it observes, a chip’s pixel grid is updated periodically—and in its entirety—over the course of receiving the light from the environment. The eye, though, is much more parsimonious, focusing its attention only on a small part of the visual scene at any one time—namely, the part of the scene that changes, like the fluttering of a leaf or a golf ball splashing into water.
https://spectrum.ieee.org/event-sensors-to-the-edge?utm_source=homepage&utm_medium=hero&utm_campaign=hero-2025-11-28&utm_content=hero1
이벤트 센서는 장치 제조업체에 필요한 데이터만 제공합니다.
그들은 변화와 움직임만을 감지하기 때문에 매우 효율적입니다.
해부학적으로 인간의 눈은 뇌에서 뻗어 나온 정교한 촉수와 같으며, 망막은 촉수의 끝부분 역할을 하며 사람이 보는 모든 것에 닿습니다. 진화는 이 복잡한 신경 구조에 놀라운 영향을 미쳤습니다.
이제 눈의 해부학을 오늘날 가장 널리 사용되는 머신 비전 시스템의 엔지니어링과 대조해 보겠습니다. 각각 픽셀 그리드로 구성된 전하 결합 소자( CCD ) 또는 CMOS 이미징 칩입니다 . 눈은 이러한 평면 칩 컴퓨터 비전 키트보다 훨씬 효율적입니다. 이유는 다음과 같습니다. 관찰하는 모든 장면에 대해 칩의 픽셀 그리드는 환경에서 빛을 받는 동안 주기적으로 전체적으로 업데이트됩니다. 그러나 눈은 훨씬 더 인색하여 한 번에 시각적 장면의 작은 부분, 즉 나뭇잎이 펄럭이거나 골프 공이 물에 튀는 것처럼 장면의 변화하는 부분에만 주의를 집중합니다.
Event-sensing videos may seem unnatural to humans, but they capture just what computers need to know: motion.Prophesee
저희 회사인 Prophesee 와 경쟁사들은 이러한 장면의 변화를 "이벤트"라고 부릅니다. 그리고 저희는 이러한 이벤트를 포착하도록 설계된 생물학적 영감을 받은 머신 비전 시스템을 뉴로모픽 이벤트 센서라고 부릅니다. CCD 및 CMOS 이미징 칩과 비교했을 때 이벤트 센서는 더 빠르게 반응하고 더 높은 다이내믹 레인지를 제공합니다. 즉, 장면의 어두운 부분과 밝은 부분을 동시에 감지할 수 있으며, 흐릿함 없이 빠른 움직임을 포착합니다. 또한 이벤트가 감지된 시점과 위치에서만 새로운 데이터를 생성하므로 센서의 에너지 및 데이터 효율성이 매우 높습니다. 저희를 비롯한 여러 회사는 이러한 생물학적 영감을 받은 슈퍼센서를 사용하여 고다이내믹 레인지 카메라 , 증강 현실 웨어러블 , 드론 , 의료 로봇 등 다양한 기기와 기계를 크게 업그레이드하고 있습니다 .
요즘 기계를 보면 어디를 보든 과거를 되돌아보기 시작하고 있으며, 이벤트 센서 덕분에 우리와 더 비슷한 방식으로 과거를 되돌아보고 있습니다.
이벤트 센서 대 CMOS 이미징 칩
인간의 눈에서 영감을 받은 디지털 센서는 수십 년 전부터 개발되어 왔습니다. 1980년대 캘리포니아 공과대학교(California Institute of Technology)에서 최초로 시도되었습니다. 선구적인 전기 공학자 카버 A. 미드(Carver A. Mead) , 미샤 마호월드(Misha Mahowald) , 그리고 그들의 동료들은 아날로그 회로를 사용하여 인간 망막의 흥분성 세포의 기능을 모방하여 "실리콘 망막"을 개발했습니다. 1990년대에 미드는 포베온(Foveon)을 공동 설립하여 향상된 색상 정확도, 저조도 노이즈 감소, 그리고 더욱 선명한 이미지를 제공하는 신경망에서 영감을 받은 CMOS 이미지 센서를 개발했습니다 . 2008년에는 카메라 제조업체 시그마(Sigma)가 포베온을 인수하여 사진 촬영 기술을 계속 개발하고 있습니다.
실제 세계 비전 작업을 위한 이벤트 센서를 개척한 다른 스타트업으로 는 취리히의 i niVation ( 중국 의 SynSense 와 합병 ), 싱가포르 의 CelePixel (현재 OmniVision 의 일부 ), 그리고 파리의 저의 회사인 Prophesee (구 Chronocam)가 있습니다.
주요 CMOS 이미지 센서 기업 중 삼성은 자체 이벤트 센서 설계를 최초로 선보였습니다. 현재 소니 와 옴니비전 과 같은 다른 주요 기업들 도 이벤트 센서를 연구하고 구현하고 있습니다. 기업들이 목표로 하는 광범위한 응용 분야로는 자동차 머신 비전 , 드론 감지 , 혈액 세포 추적 , 제조 공정에 사용되는 로봇 시스템 등이 있습니다 .
이벤트 센서 작동 방식
이벤트 센서의 성능을 이해하기 위해, 시속 150km로 코트를 가로지르는 테니스 공을 촬영하는 일반 비디오 카메라를 생각해 보겠습니다. 카메라에 따라 초당 24~60프레임을 촬영하는데, 프레임 간 공의 큰 이동으로 인해 빠른 동작이 언더샘플링될 수 있으며, 노출 시간 동안 공의 움직임으로 인해 모션 블러가 발생할 수도 있습니다. 동시에, 카메라는 네트나 코트의 움직이지 않는 부분과 같은 정적인 배경을 기본적으로 오버샘플링합니다.
그런 다음 머신 비전 시스템에 장면의 역학을 분석하도록 요청하면 비디오 카메라 프레임과 같은 정적 이미지 시퀀스에 의존해야 하는데, 이 이미지에는 중요한 것에 대한 정보가 너무 적고 중요하지 않은 것에 대한 중복 정보가 너무 많습니다. 이러한 근본적으로 불일치하는 접근 방식으로 인해 머신 비전 시스템 개발자는 불충분한 데이터를 보완하기 위해 복잡하고 전력 소모가 많은 처리 인프라에 투자하게 되었습니다. 이러한 머신 비전 시스템은 자율주행차 와 같이 장면을 실시간으로 파악해야 하는 애플리케이션에는 사용하기에 비용이 너무 많이 들고 , 배터리로 구동되는 스마트 안경, 드론, 로봇과 같은 애플리케이션에는 너무 많은 에너지, 대역폭 및 컴퓨팅 리소스를 사용합니다.
이상적으로 이미지 센서는 빠른 움직임과 변화가 있는 장면 부분에는 높은 샘플링 속도를 사용하고, 느리게 변화하는 부분에는 느린 샘플링 속도를 사용하며, 변화가 없으면 샘플링 속도는 0으로 돌아갑니다. 이것이 바로 이벤트 센서의 역할입니다. 각 픽셀은 독립적으로 작동하며 입사광량의 변화에 반응하여 자체 샘플링 타이밍을 결정합니다. 전체 샘플링 프로세스는 기존 카메라처럼 장면의 역학과 무관한 고정된 클럭에 의해 제어되는 것이 아니라, 장면의 미묘한 변화에 적응합니다.
이벤트 센서가 장착된 비디오 카메라에서 생성되는 출력은 일련의 이미지가 아니라 장면에서 발생하는 변화에 따라 생성되고 전송되는 개별 픽셀 데이터의 연속적인 스트림입니다.많은 장면에서 대부분의 픽셀은 자주 변경되지 않기 때문에 이벤트 센서는 특히 데이터 전송 및 처리 에너지를 포함할 때 기존 CMOS 이미징에 비해 에너지를 절약할 수 있다고 약속합니다.많은 작업에서 저희 센서는 기존 센서의 약 10분의 1의 전력을 소모합니다.예를 들어 스마트 안경 의 눈 추적 과 같은 특정 작업은 감지 및 처리에 더 적은 에너지를 필요로 합니다.변화가 전체 시야의 작은 부분을 나타내는 테니스 공 의 경우 전송 및 처리해야 하는 데이터는 기존 센서에 비해 매우 작으며 이벤트 센서 방식의 장점은 엄청납니다.아마도 5개 또는 6개의 자릿수일 것입니다.
이벤트 센서 작동 중
미래에 이벤트 센서가 어떤 역할을 할지 상상해 보려면, 저조도와 고조도 모두에서 작동하며 빠르고 에너지 및 데이터 효율이 높은 카메라가 필요한 모든 애플리케이션을 생각해 보세요. 예를 들어, 이벤트 센서는 엣지 디바이스에 이상적입니다. 엣지 디바이스는 크기가 작고 전력 제약이 있거나, 신체 가까이 착용하거나(예: 스마트 링), 고대역폭의 안정적인 네트워크 연결에서 멀리 떨어진 곳에서 작동하는 인터넷 연결 기기 (예: 가축 모니터)입니다.
이벤트 센서는 전력 요구 사항이 낮고 미묘한 움직임을 감지할 수 있는 기능이 있어 인간-컴퓨터 인터페이스에 이상적입니다. 예를 들어, 스마트워치 , 증강 현실 안경, 게임 컨트롤러, 패스트푸드 레스토랑의 디지털 키오스크 에서 눈과 시선 추적 , 입술 읽기 , 제스처 제어를 위한 시스템에 적합합니다.
가정용으로, 엔지니어들은 노인용 건강 모니터에 벽걸이형 이벤트 센서를 장착하여 낙상 감지 기능을 테스트하고 있습니다 . 이 센서 는 또 다른 장점을 가지고 있습니다. 전체 이미지를 캡처할 필요 없이 낙상 발생 시점만 캡처할 수 있다는 것입니다. 즉, 모니터는 알림만 전송하며, 카메라를 사용하더라도 일반적인 개인정보 보호 문제가 발생하지 않습니다.
이벤트 센서는 기존 디지털 사진 촬영 에도 활용할 수 있습니다 . 이러한 애플리케이션은 아직 개발 단계에 있지만, 연구자들은 이벤트 센서를 휴대폰 카메라와 함께 사용할 경우, 장면 내 움직임과 이벤트 센서가 제공하는 고조도 및 저조도에 대한 추가 정보를 활용하여 원본 이미지의 흐릿함을 제거하고, 선명도를 높이거나, 다이내믹 레인지를 향상시킬 수 있음을 입증했습니다.
이벤트 센서는 반대 방향의 움직임을 제거하는 데에도 사용될 수 있습니다. 현재 카메라는 전기 기계식 안정화 기술에 의존하여 카메라를 안정적으로 유지합니다. 이벤트 센서 데이터는 카메라가 흔들리더라도 알고리즘을 통해 실시간으로 안정적인 이미지를 생성할 수 있습니다. 이벤트 센서는 가장 빠른 CCD 또는 CMOS 이미지 센서보다 빠른 마이크로초 간격으로 데이터를 기록하기 때문에 기존 비디오 캡처의 프레임 간 공백을 메울 수도 있습니다. 이를 통해 프레임 속도를 초당 수십 프레임에서 수만 프레임으로 효과적으로 높일 수 있으며, 녹화가 완료된 후 주문형 초저속 모션 비디오를 구현할 수 있습니다. 이 기술의 두 가지 분명한 응용 분야는 스포츠 경기에서 심판이 경기 직후 질문을 해결하는 것을 돕고, 당국이 교통사고의 세부 사항을 재구성하는 데 도움을 주는 것입니다.
하지만 현재 이벤트 센서의 산업적 응용 분야는 가장 성숙된 상태입니다. 기업들은 음료 상자 생산 라인의 품질 관리, 레이저 용접 로봇, 사물 인터넷(IoT) 기기 등에 이벤트 센서를 도입해 왔습니다. 또한 개발자들은 이벤트 센서를 사용하여 빠르게 움직이는 컨베이어 벨트 위의 물체 수를 세고, 산업용 로봇 에 시각적 피드백 제어를 제공하며 , 예측 유지보수를 위해 장비의 비접촉 진동 측정을 수행하는 기술을 개발하고 있습니다 .
이벤트 센서의 데이터 과제
기술 역량을 개선하기 위한 작업은 아직 남아 있습니다. 가장 큰 과제 중 하나는 이벤트 센서가 생성하는 데이터의 종류입니다. 머신 비전 시스템은 정적 장면을 해석하도록 설계된 알고리즘을 사용합니다. 이벤트 데이터는 본질적으로 시간적 특성을 지니며, 로봇 팔 의 움직임 이나 기어의 회전을 효과적으로 포착하지만, 이러한 고유한 데이터 시그니처는 현재의 머신 비전 시스템으로는 쉽게 분석할 수 없습니다.
여기가 Prophesee가 등장하는 곳입니다.저희 회사는 다른 회사가 이벤트 센서 기술을 자사 애플리케이션에 더 쉽게 구축할 수 있도록 돕는 제품과 서비스를 제공합니다.따라서 저희는 세 가지 방법으로 기존 시스템에 시간 데이터를 더 쉽게 통합할 수 있도록 노력해 왔습니다.업계 표준 인터페이스와 데이터 프로토콜을 갖춘 차세대 이벤트 센서를 설계하고, 컴퓨터 비전 알고리즘이나 신경망에서 효율적으로 사용할 수 있도록 데이터를 포맷하고, 항상 켜진 저전력 모드 기능을 제공합니다.이를 위해 작년에 칩 제조업체 AMD 와 협력하여 Metavision HD 이벤트 센서를 개발자가 이벤트 센서 애플리케이션을 테스트할 수 있는 하드웨어와 소프트웨어 모음인 AMD의 Kria KV260 Vision AI Starter Kit 와 함께 사용할 수 있도록 했습니다 .Prophesee와 AMD 개발 플랫폼은 개발자가 이 새로운 종류의 카메라로 더 자유롭게 실험할 수 있도록 일부 데이터 과제를 관리합니다.
이벤트 센서 데이터 관리에 있어 저희를 비롯한 여러 연구자들이 유망하다고 판단한 한 가지 접근법은 오늘날 머신 러닝 아키텍처에 사용되는 생물학적 기반 신경망 에서 힌트를 얻는 것입니다. 예를 들어, 스파이킹 신경망 (SNN)은 기존 신경망보다 생물학적 뉴런 처럼 작동합니다 . 구체적으로, SNN은 불연속적인 활동 "스파이크"가 감지될 때만 정보를 전송하는 반면, 기존 신경망은 연속적인 값을 처리합니다. 따라서 SNN은 이벤트 센서가 장면 역학을 포착하는 방식과 매우 유사한 이벤트 기반 계산 방식을 제공합니다.
주목을 끄는 또 다른 신경망 유형은 그래프 신경망 (GNN)입니다. 이러한 유형의 신경망은 그래프를 입력 데이터로 받아들이므로, 노드와 그 연결로 표현되는 모든 종류의 데이터에 유용합니다. 예를 들어 소셜 네트워크 , 추천 시스템 , 분자 구조, 생물학적 및 디지털 바이러스 의 행동 등이 있습니다. 이벤트 센서가 생성하는 데이터는 2차원 공간과 1차원 시간으로 구성된 3차원 그래프로도 표현될 수 있습니다. GNN은 2차원 이미지, 다양한 유형의 물체, 물체의 방향 및 속도 추정치, 심지어 신체 동작과 같은 특징을 포착하여 이벤트 센서의 그래프를 효과적으로 압축할 수 있습니다. 저희는 GNN이 전력, 연결성 및 처리 성능이 제한된 이벤트 기반 엣지 컴퓨팅 애플리케이션에 특히 유용할 것으로 생각합니다. 현재 GNN을 이벤트 센서에 거의 직접 연결하고, 궁극적으로 이벤트 센서와 GNN 프로세스를 모두 동일한 밀리미터 크기의 칩에 통합하는 작업을 진행하고 있습니다.
미래에는 적절한 시간에 적절한 데이터를 수집하고 가장 효율적인 방식으로 처리하는 자연의 성공적인 전략을 따르는 머신 비전 시스템이 등장할 것으로 예상됩니다. 궁극적으로 이러한 접근 방식은 기계가 더 넓은 세상을 새로운 방식으로 볼 수 있도록 하여 우리와 기계 모두에게 이로운 결과를 가져올 것입니다.
![[멍청대전] 이재명 정청래 찌라시](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhvj8NLPYJ1gEisr6Ot9i-Yl14SuFAj6-b7TFzqN-3IklvY01O5sL4dR5Kpqn9rJXoIyVQWvDlZw6iIGuI1sZID_ZeNsyTL72bBrNXaTM6JrNLm5GZjjK5wEgNILRV3mPG02G-KlMaCXHXxHZgC5XFrSOMDw6Qm802sOv9WIy187fs3FSisLSS-6LYgSVQ/w72-h72-p-k-no-nu/ttt.jpg)
댓글 없음:
댓글 쓰기