Câmera de tempo de voo - Time-of-flight camera

Tempo de voo de um pulso de luz refletido em um alvo.

Uma câmera de tempo de voo ( câmera ToF ) é um sistema de câmera de imagem de alcance que emprega técnicas de tempo de voo para resolver a distância entre a câmera e o assunto para cada ponto da imagem, medindo o tempo de ida e volta de uma luz artificial sinal fornecido por um laser ou um LED . As câmeras de tempo de voo baseadas em laser fazem parte de uma classe mais ampla de LIDAR sem scanner , em que toda a cena é capturada com cada pulso de laser, em oposição a ponto a ponto com um feixe de laser, como em sistemas de varredura LIDAR. Os produtos de câmera de tempo de voo para aplicações civis começaram a surgir por volta de 2000, à medida que os processos de semicondutores permitiam a produção de componentes com rapidez suficiente para esses dispositivos. Os sistemas cobrem intervalos de alguns centímetros a vários quilômetros.

Tipos de dispositivos

Diversas tecnologias diferentes para câmeras de tempo de vôo foram desenvolvidas.

Fontes de luz moduladas por RF com detectores de fase

Photonic Mixer Devices (PMD), Swiss Ranger e CanestaVision funcionam modulando o feixe de saída com uma portadora de RF e medindo a mudança de fase dessa portadora no lado do receptor. Essa abordagem tem um desafio de erro modular: as faixas medidas são o módulo do comprimento de onda da portadora de RF. O Swiss Ranger é um dispositivo compacto de curto alcance, com alcances de 5 ou 10 metros e resolução de 176 x 144 pixels. Com algoritmos de desempacotamento de fase, a faixa máxima de exclusividade pode ser aumentada. O PMD pode fornecer alcances de até 60 m. A iluminação é feita por LEDs pulsados ​​em vez de um laser. O desenvolvedor CanestaVision, Canesta, foi comprado pela Microsoft em 2010. O Kinect2 para Xbox One foi baseado na tecnologia ToF da Canesta.

Captadores de imagens com portas de alcance

Esses dispositivos têm um obturador embutido no sensor de imagem que abre e fecha na mesma taxa em que os pulsos de luz são enviados. A maioria dos sensores 3D de tempo de voo são baseados neste princípio inventado por Medina. Como parte de cada pulso que retorna é bloqueado pelo obturador de acordo com seu tempo de chegada, a quantidade de luz recebida está relacionada à distância que o pulso percorreu. A distância pode ser calculada usando a equação, z = R ( S 2 - S 1 ) / 2 ( S 1 + S 2 ) + R / 2 para uma câmera ideal. R é o alcance da câmera, determinado pela ida e volta do pulso de luz, S 1 a quantidade de pulso de luz que é recebido e S 2 a quantidade de pulso de luz que é bloqueado.

O ZCam da 3DV Systems é um sistema range-gated. A Microsoft comprou o 3DV em 2009. O sensor Kinect de segunda geração da Microsoft foi desenvolvido usando o conhecimento obtido da Canesta e da 3DV Systems.

Princípios semelhantes são usados ​​na linha de câmeras ToF desenvolvida pelo Fraunhofer Institute of Microelectronic Circuits and Systems e TriDiCam. Essas câmeras utilizam fotodetectores com obturador eletrônico rápido.

A resolução de profundidade das câmeras ToF pode ser melhorada com câmeras CCD intensificadas com passagem ultra-rápida. Essas câmeras fornecem tempos de gating até 200ps e permitem a configuração de ToF com resolução de profundidade submilimétrica.

Os imageadores de alcance fechado também podem ser usados ​​em imagens 2D para suprimir qualquer coisa fora de uma faixa de distância especificada, como ver através da neblina. Um laser pulsado fornece iluminação e uma porta ótica permite que a luz alcance o gerador de imagens apenas durante o período de tempo desejado.

Imageadores Direct Time-of-Flight

Esses dispositivos medem o tempo de vôo direto necessário para que um único pulso de laser deixe a câmera e seja refletido de volta na matriz de plano focal. Também conhecido como "modo de disparo", as imagens 3D capturadas usando esta metodologia de imagem completam dados espaciais e temporais, gravando cenas totalmente 3D com um único pulso de laser. Isso permite a aquisição rápida e o processamento rápido em tempo real das informações da cena. Para operações autônomas sensíveis ao tempo, esta abordagem foi demonstrada para teste e operação do espaço autônomo, como o usado na amostra de asteróide OSIRIS-REx Bennu e missão de retorno e pouso de helicóptero autônomo.

Advanced Scientific Concepts, Inc. fornece sistemas de visão Direct TOF específicos para aplicações (por exemplo, aérea, automotiva, espacial), conhecidos como câmeras 3D Flash LIDAR. Sua abordagem utiliza InGaAs Avalanche Photo Diode (APD) ou matrizes fotodetectoras de PIN capazes de gerar imagens de pulso de laser em comprimentos de onda de 980 nm a 1600 nm.

Componentes

Uma câmera de tempo de voo consiste nos seguintes componentes:

  • Unidade de iluminação: Ilumina a cena. Para fontes de luz moduladas por RF com sensores de detecção de fase, a luz deve ser modulada com altas velocidades de até 100 MHz, apenas LEDs ou diodos laser são viáveis. Para imagens Direct TOF, um único pulso por quadro (por exemplo, 30 Hz) é usado. A iluminação normalmente usa luz infravermelha para tornar a iluminação discreta.
  • Óptica: uma lente reúne a luz refletida e as imagens do ambiente no sensor de imagem (matriz de plano focal). Um filtro passa-banda óptico só passa a luz com o mesmo comprimento de onda que a unidade de iluminação. Isso ajuda a suprimir a luz não pertinente e reduzir o ruído.
  • Sensor de imagem : este é o coração da câmera TOF. Cada pixel mede o tempo que a luz levou para viajar da unidade de iluminação (laser ou LED) para o objeto e de volta para a matriz de plano focal. Várias abordagens diferentes são usadas para cronometrar; consulte Tipos de dispositivos acima.
  • Eletrônica do driver: A unidade de iluminação e o sensor de imagem devem ser controlados por sinais de alta velocidade e sincronizados. Esses sinais devem ser muito precisos para obter uma alta resolução. Por exemplo, se os sinais entre a unidade de iluminação e o sensor mudam em apenas 10 picossegundos , a distância muda em 1,5 mm. Para comparação: as CPUs atuais atingem frequências de até 3  GHz , correspondendo a ciclos de clock de cerca de 300 ps - a 'resolução' correspondente é de apenas 45 mm.
  • Computação / Interface: A distância é calculada diretamente na câmera. Para obter um bom desempenho, alguns dados de calibração também são usados. A câmera então fornece uma imagem de distância em alguma interface, por exemplo USB ou Ethernet .

Princípio

Veja também: tempo de voo
Princípio de operação de uma câmera de tempo de voo:

No método pulsado (1), a distância, d = ct/2 q2/q1 + q2, onde c é a velocidade da luz, t é o comprimento do pulso, q1 é a carga acumulada no pixel quando a luz é emitida e q2 é a carga acumulada quando não é.

No método de onda contínua (2), d =ct/2 π Arctan q3 - q4/q1 - q2 .
Diagramas que ilustram o princípio de uma câmera de tempo de voo com temporização analógica

A versão mais simples de uma câmera de tempo de vôo usa pulsos de luz ou um único pulso de luz. A iluminação é ligada por um curto período de tempo, o pulso de luz resultante ilumina a cena e é refletido pelos objetos no campo de visão. A lente da câmera reúne a luz refletida e as imagens no sensor ou na matriz de plano focal. Dependendo da distância, a luz que entra experimenta um atraso. Como a luz tem uma velocidade de aproximadamente c = 300.000.000 metros por segundo, esse atraso é muito curto: um objeto a 2,5 m de distância atrasará a luz em:

Para matrizes de amplitude modulada, a largura de pulso da iluminação determina o alcance máximo que a câmera pode manipular. Com uma largura de pulso de, por exemplo, 50 ns, a faixa é limitada a

Esses tempos curtos mostram que a unidade de iluminação é uma parte crítica do sistema. Somente com LEDs ou lasers especiais é possível gerar esses pulsos curtos.

O único pixel consiste em um elemento fotossensível (por exemplo, um fotodíodo ). Ele converte a luz que entra em uma corrente. Nos termovisores analógicos, conectados ao fotodíodo estão interruptores rápidos, que direcionam a corrente para um dos dois (ou vários) elementos de memória (por exemplo, um capacitor ) que atuam como elementos de soma. Em imagens de temporização digital, um contador de tempo, que pode funcionar em vários gigahertz, é conectado a cada pixel fotodetector e para de contar quando a luz é detectada.

No diagrama de um temporizador analógico de matriz modulada em amplitude, o pixel usa duas chaves (G1 e G2) e dois elementos de memória (S1 e S2). Os interruptores são controlados por um pulso com o mesmo comprimento do pulso de luz, onde o sinal de controle do interruptor G2 é atrasado exatamente pela largura do pulso. Dependendo do atraso, apenas parte do pulso de luz é amostrada por meio de G1 em S1, a outra parte é armazenada em S2. Dependendo da distância, a proporção entre S1 e S2 muda conforme mostrado no desenho. Como apenas pequenas quantidades de luz atingem o sensor em 50 ns, não apenas um, mas vários milhares de pulsos são enviados (taxa de repetição tR) e reunidos, aumentando assim a relação sinal / ruído .

Após a exposição, o pixel é lido e as etapas seguintes medem os sinais S1 e S2. Conforme o comprimento do pulso de luz é definido, a distância pode ser calculada com a fórmula:

No exemplo, os sinais têm os seguintes valores: S1 = 0,66 e S2 = 0,33. A distância é, portanto:

Na presença de luz de fundo , os elementos de memória recebem uma parte adicional do sinal. Isso iria atrapalhar a medição da distância. Para eliminar a parte de fundo do sinal, toda a medição pode ser realizada uma segunda vez com a iluminação desligada. Se os objetos estiverem mais distantes do que a faixa de distância, o resultado também está errado. Aqui, uma segunda medição com os sinais de controle atrasados ​​por uma largura de pulso adicional ajuda a suprimir tais objetos. Outros sistemas funcionam com uma fonte de luz modulada sinusoidalmente em vez da fonte de pulso.

Para imagens TOF diretas, como 3D Flash LIDAR, um único pulso curto de 5 a 10 ns é emitido pelo laser. O evento T-zero (o tempo em que o pulso sai da câmera) é estabelecido capturando o pulso diretamente e direcionando esse tempo para a matriz de plano focal. T-zero é usado para comparar o tempo de retorno do pulso refletido de retorno nos vários pixels da matriz de plano focal. Ao comparar T-zero e o pulso retornado capturado e comparando a diferença de tempo, cada pixel emite com precisão uma medição direta de tempo de voo. A viagem de ida e volta de um único pulso para 100 metros é 660 ns. Com um pulso de 10 ns, a cena é iluminada e o alcance e a intensidade capturados em menos de 1 microssegundo.

Vantagens

Simplicidade

Em contraste com a visão estéreo ou sistemas de triangulação , todo o sistema é muito compacto: a iluminação é colocada logo ao lado da lente, enquanto os outros sistemas precisam de uma certa linha de base mínima. Em contraste com os sistemas de varredura a laser , nenhuma peça mecânica móvel é necessária.

Algoritmo de distância eficiente

É um processo direto para extrair as informações de distância dos sinais de saída do sensor TOF. Como resultado, esta tarefa usa apenas uma pequena quantidade de poder de processamento, novamente em contraste com a visão estéreo, onde algoritmos de correlação complexos são implementados. Depois que os dados de distância foram extraídos, a detecção do objeto, por exemplo, também é um processo simples de realizar, porque os algoritmos não são perturbados por padrões no objeto.

Velocidade

Câmeras de tempo de vôo são capazes de medir as distâncias dentro de uma cena completa com um único tiro. Como as câmeras atingem até 160 quadros por segundo, elas são ideais para serem usadas em aplicações em tempo real.

Desvantagens

Luz de fundo

Ao usar CMOS ou outros detectores ou sensores de integração que usam luz visível ou quase infravermelha (400 nm - 700 nm), embora a maior parte da luz de fundo proveniente da iluminação artificial ou do sol seja suprimida, o pixel ainda precisa fornecer uma alta faixa dinâmica . A luz de fundo também gera elétrons, que precisam ser armazenados. Por exemplo, as unidades de iluminação em muitas das câmeras TOF atuais podem fornecer um nível de iluminação de cerca de 1 watt. O Sol tem uma potência de iluminação de cerca de 1050 watts por metro quadrado e 50 watts após o filtro passa-banda óptico . Portanto, se a cena iluminada tiver o tamanho de 1 metro quadrado, a luz do sol é 50 vezes mais forte que o sinal modulado. Para sensores TOF não integrados que não integram luz ao longo do tempo e usam detectores de infravermelho próximo (InGaAs) para capturar o pulso de laser curto, a visão direta do sol não é um problema porque a imagem não é integrada ao longo do tempo, ao invés capturado dentro de um ciclo de aquisição curto, normalmente menos de 1 microssegundo. Esses sensores TOF são usados ​​em aplicações espaciais e em consideração para aplicações automotivas.

Interferência

Em certos tipos de dispositivos TOF (mas não todos), se várias câmeras de tempo de voo estiverem funcionando ao mesmo tempo, as câmeras TOF podem interferir nas medições umas das outras. Existem várias possibilidades para lidar com este problema:

  • Multiplexação de tempo: um sistema de controle inicia a medição das câmeras individuais consecutivamente, de modo que apenas uma unidade de iluminação esteja ativa por vez.
  • Freqüências de modulação diferentes: Se as câmeras modulam sua luz com freqüências de modulação diferentes, sua luz é coletada nos outros sistemas apenas como iluminação de fundo, mas não perturba a medição da distância.

Para câmeras do tipo Direct TOF que usam um único pulso de laser para iluminação, porque o único pulso de laser é curto (por exemplo, 10 nanossegundos), o TOF de ida e volta de e para os objetos no campo de visão é correspondentemente curto (por exemplo, 100 metros = 660 ns TOF de ida e volta). Para um gerador de imagens capturando em 30 Hz, a probabilidade de uma interação interferente é o tempo em que a porta de aquisição da câmera é aberta dividido pelo tempo entre os pulsos de laser ou aproximadamente 1 em 50.000 (0,66 μs dividido por 33 ms).

Reflexões múltiplas

Em contraste com os sistemas de varredura a laser, onde um único ponto é iluminado, as câmeras do tempo de vôo iluminam toda uma cena. Para um dispositivo de diferença de fase (matriz modulada em amplitude), devido a múltiplas reflexões, a luz pode atingir os objetos ao longo de vários caminhos. Portanto, a distância medida pode ser maior do que a distância real. Os geradores de imagens TOF diretos são vulneráveis ​​se a luz estiver refletindo de uma superfície especular. Existem artigos publicados disponíveis que descrevem os pontos fortes e fracos dos vários dispositivos e abordagens TOF.

Formulários

Imagem de alcance de um rosto humano capturada com uma câmera do tempo de voo (representação do artista)

Aplicações automotivas

Câmeras de tempo de voo são usadas em funções de assistência e segurança para aplicações automotivas avançadas, como segurança ativa de pedestres, detecção de pré-acidente e aplicações internas, como detecção fora de posição (OOP).

Interfaces homem-máquina e jogos

Como as câmeras de tempo de voo fornecem imagens de distâncias em tempo real, é fácil rastrear os movimentos humanos. Isso permite novas interações com dispositivos de consumo, como televisores. Outro tópico é usar esse tipo de câmera para interagir com jogos em consoles de videogame. O sensor Kinect de segunda geração originalmente incluído no console Xbox One usava uma câmera de tempo de voo para sua imagem de alcance, permitindo interfaces de usuário naturais e aplicativos de jogos usando visão computacional e técnicas de reconhecimento de gestos . A Creative e a Intel também fornecem um tipo semelhante de câmera de tempo de voo de gesto interativo para jogos, a Senz3D baseada na câmera DepthSense 325 da Softkinetic . A Infineon e a PMD Technologies permitem minúsculas câmeras de profundidade 3D integradas para controle de gestos de perto de dispositivos de consumo, como PCs e laptops multifuncionais (câmeras Picco flexx e Picco monstar).

Câmeras de smartphone

O Samsung Galaxy S20 Ultra possui três lentes de câmera voltadas para trás e uma câmera ToF.

A partir de 2019, vários smartphones incluem câmeras de tempo de voo. Eles são usados ​​principalmente para melhorar a qualidade das fotos, fornecendo ao software da câmera informações sobre o primeiro plano e o fundo.

O primeiro telefone celular a empregar essa tecnologia é o LG G3 , lançado no início de 2014.

Medição e visão de máquina

Imagem de alcance com medidas de altura

Outras aplicações são tarefas de medição, por exemplo, para a altura de enchimento em silos. Na visão de máquina industrial , a câmera de tempo de vôo ajuda a classificar e localizar objetos para uso por robôs, como itens que passam em uma esteira. Os controles da porta podem distinguir facilmente entre animais e humanos que chegam à porta.

Robótica

Outro uso dessas câmeras é no campo da robótica: os robôs móveis podem construir um mapa de seus arredores muito rapidamente, permitindo-lhes evitar obstáculos ou seguir uma pessoa importante. Como o cálculo da distância é simples, pouco poder computacional é usado.

Topografia da terra

Câmeras ToF têm sido utilizadas para obter modelos digitais de elevação da topografia da superfície terrestre , para estudos em geomorfologia .

Marcas

Marcas ativas (a partir de 2011)

  • ESPROS - chips de imagem 3D TOF, câmera TOF e módulo para aplicações automotivas, robóticas, industriais e IoT
  • Câmeras 3D Flash LIDAR e sistemas de visão da Advanced Scientific Concepts, Inc. para aplicações aéreas, automotivas e espaciais
  • DepthSense - câmeras e módulos TOF, incluindo sensor RGB e microfones da SoftKinetic
  • IRMA MATRIX - câmera TOF, usada para contagem automática de passageiros em aplicações móveis e estacionárias da iris-GmbH
  • Kinect - plataforma de interface de usuário viva-voz da Microsoft para consoles de videogame e PCs, usando câmeras de tempo de voo em sua segunda geração de dispositivos sensores.
  • pmd - designs de referência de câmera e software (pmd [visão], incluindo módulos TOF [CamBoard]) e imagens TOF (PhotonICs) da PMD Technologies
  • real.IZ 2 + 3D - Câmera TOF SXGA (1280 × 1024) de alta resolução desenvolvida pela empresa startup odos imaging, integrando captura de imagem convencional com TOF variando no mesmo sensor. Baseado em tecnologia desenvolvida na Siemens .
  • Senz3D - Câmera TOF da Creative e Intel baseada na câmera DepthSense 325 da Softkinetic, usada para jogos.
  • SICK - Câmeras TOF industriais 3D (Visionary-T) para aplicações industriais e software
  • Sensor 3D MLI - gerador de imagens TOF, módulos, câmeras e software da IEE (International Electronics & Engineering), com base na intensidade de luz modulada (MLI)
  • TOFCam Stanley - câmera TOF da Stanley Electric
  • TriDiCam - módulos e software TOF, o gerador de imagens TOF originalmente desenvolvido pelo Instituto Fraunhofer de Circuitos e Sistemas Microeletrônicos, agora desenvolvido pela empresa Spin out TriDiCam
  • Hakvision - câmera estéreo TOF
  • Cube eye - ToF Camera and Modules, resolução VGA, website: www.cube-eye.co.kr

Marcas extintas

  • CanestaVision - Módulos TOF e software da Canesta (empresa adquirida pela Microsoft em 2010)
  • D-IMager - câmera TOF da Panasonic Electric Works
  • OptriCam - câmeras e módulos TOF da Optrima (renomeada DepthSense antes da fusão da SoftKinetic em 2011)
  • ZCam - produtos de câmera TOF da 3DV Systems, integrando vídeo colorido com informações de profundidade (ativos vendidos para a Microsoft em 2009)
  • SwissRanger - uma linha de câmeras apenas TOF industrial originalmente do Centre Suisse d'Electronique et Microtechnique, SA ( CSEM ), agora desenvolvida pela Mesa Imaging (Mesa Imaging adquirida pela Heptagon em 2014)
  • Fotonic - câmeras e software TOF com chip Panasonic CMOS (Fotonic adquirida pela Autoliv em 2018)
  • S.Cube - Câmera ToF e Módulos por Cube eye

  • D-IMager da Panasonic

  • pmd [visão] CamCube por PMD Technologies

  • SwissRanger 4000 da MESA Imaging

  • FOTONIC-B70 da Fotonic

  • Sensor 3D MLI da IEE SA

  • Protótipo de câmera ARTTS

  • pmd [visão] CamBoard por PMD Technologies

  • Kinect para Xbox One da Microsoft

Veja também

Referências

Leitura adicional