Há basicamente duas abordagens para se efetuar a reconstrução da informação tridimensional a partir de um par estéreo. A forma mais simples baseia-se na comparação das intensidades luminosas em cada uma das imagens do par estéreo. A segunda baseia-se na determinação de certas características, tais como bordas, curvas ou vértices, para, em uma segunda etapa, buscar o casamento destas características no par estéreo.
Entre as dificuldade de se efetuar o pareamento estéreo, temos:
- Regiões com pouco ou nenhuma variação de intensidade luminosa, o que impossibilita a extração de qualquer informação para casamento de intensidade luminosa.
- Regiões parcialmente ocultas. São regiões que aparecem em uma imagem, mas estão ocultas atrás de algum objeto na outra imagem.
- Regiões com textura uniforme e periódica. A dificuldade está no fato de não haver diferenças de um período a outro da textura, possibilitando casamentos com qualquer um dos períodos da textura.
- Efeitos de reflexão e refração sobre ou através dos objetos. Como as imagens são capturadas com um pequeno deslocamento, qualquer objeto que possua características de reflexão ou refração irá gerar intensidades luminosas distintas, para um mesmo ponto, em cada uma das imagens. Este problema só deixaria de existir se cada ponto de um objeto emitisse a mesma intensidade luminosa em todas as direções, o que não ocorre na realidade.
- Características intrínsecas do equipamento de captura de imagens utilizado. Isto pode causar diferenças de brilho, contraste ou mesmo diferenças não lineares entre as imagens capturadas. Outro fator dependente do equipamento são as distorções causadas pelas lentes de uma câmara