Segundo BELLUGI, POIZER e KLIMA (1989), estudos sobre a organização cerebral indicam que o hemisfério esquerdo é o responsável pelo processamento de informações lingüísticas no modo auditivo-oral e que esta capacidade de analisar os sons é determinante para este hemisfério ser o responsável pela linguagem. Já o hemisfério direito é o responsável pelo processamento visual-espacial.

Com isto, é possível questionarmos se o hemisfério esquerdo é restrito para a língua falada ou se é a base de uma representação abstrata da forma lingüística, independente da modalidade. Além disso, as mudanças que a experiência lingüística causa na percepção dos sons e dos movimentos sugere que o uso da linguagem deve provocar grandes efeitos na organização cerebral, inclusive que esta deve ser diferente para as línguas de sinais e para as línguas faladas. Então, a pergunta que se faz é: Qual a relação existente entre os hemisférios cerebrais e a língua de sinais?
Uma das formas de se aprofundar as especificidades de cada hemisfério é através do estudo dos distúrbios da linguagem causados por lesão no cérebro, devido a um AVC (Acidente Vascular Cerebral) ou a um trauma. Os danos causados no hemisfério esquerdo podem gerar transtornos na linguagem oral (afasia), enquanto os danos causados no hemisfério direito normalmente não têm efeito sobre o uso da linguagem, mas causam dificuldades na percepção espacial, sugerindo então que esta seja uma especificidade deste hemisfério.