Multimodal Information Processing

It is well established that gestures and speech form an integrated system of communication; gestures that match the meaning of the speech they accompany favor the listener's discourse comprehension, whereas mismatching gestures whose meaning conveys information contradicting that conveyed by speech, impair comprehension. A less investigated issue is whether or not the uptake of gestural information is a deterministic process. In line with recent studies in the literature, we purport that the process may be modulated by certain factors. In particular, we investigate the role of unrelated gestures whose meaning, which is irrelevant to the speech they accompany, could be neglected. The results of four experiments led us to conclude that unrelated gestures are not processed, and that the uptake of gestural information is a non-deterministic process.

It is well established that gestures and speech form an integrated system of communication; gestures that match the meaning of the speech they accompany favor the listener's discourse comprehension, whereas mismatching gestures whose meaning conveys information contradicting that conveyed by speech, impair comprehension. A less investigated issue is whether or not the uptake of gestural information is a deterministic process. In line with recent studies in the literature, we purport that the process may be modulated by certain factors. In particular, we investigate the role of unrelated gestures whose meaning, which is irrelevant to the speech they accompany, could be neglected. The results of four experiments led us to conclude that unrelated gestures are not processed, and that the uptake of gestural information is a non-deterministic process.

The paper presents a general framework that facilitates the exploration of a single information-processing system in which auditory and visual information is integrated. The framework allows for learning, adaptation, knowledge discovery, and decision making. An application of the framework is a personidentification task in which face and voice recognition are combined in one system. Experiments are performed using visual and auditory dynamic features which synchronously extract visual and auditory information flows. The experimental results support the hypothesis that the recognition rate is considerably enhanced by combining visual and auditory dynamic features.

Resumo A questão principal deste artigo é sobre a origem da consciência em humanos. Supondo que a consciência tenha evoluído, como todas as outras faculdades cognitivas, se cogita que o seu desenvolvimento seja semelhante ao das funções cognitivas e que as suas vantagens evolutivas sejam concernentes às da comunicação. Para tanto, se propõe a conexão entre a comunicação animal, a linguagem em humanos e a consciência, especificamente, a relação entre os níveis intermediários de consciência e a comunicação em animais não-humanos, e entre os níveis avançados de consciência e a linguagem em animais humanos, considerando as perspectivas evolucionista e cognitivista da consciência. Palavras-chave: comunicação animal, linguagem, emoções, consciência e cognição. 1. Introdução Uma hipótese alternativa afirmaria que na evolução da consciência, os seus graus intermediários possibilitariam a emergência da linguagem, a partir de sistemas de comunicação complexos e que, posteriormente, a consciência adquiriu alto grau de complexidade favorecida co-evolução da linguagem. Assim como a consciência não é um processo, os tipos de consciência intermediária e avançada não são categorias rígidas, sendo que haveriam muitas escalas entre o ponto final de um tipo e o início de outro (PHILIP LOW ET. AL. 2012). Alguns pesquisadores em neurociências, em ciências cognitivas e em filosofia da mente tentaram esculpir esses diferentes tipos de consciência, apesar das imensas dificuldades, trazem uma recompensa prática: permite propor que os degraus mais baixos da escala de consciência não são apenas humanos, estão presentes em várias espécies não humanas que têm cérebros complexos o suficiente para construí-los (EDELMAN & SETH, 2009). Block (1995) tenta tornar precisa a distinção entre o acesso à consciência e a consciência fenomênica. Em estudos com pacientes cegos (blindsight patients), ele procurou revelar a falácia no raciocínio que o paciente cego não tem consciência dos estímulos no campo visual prejudicado, porque, o paciente não usa as informações que ele tem a respeito desses estímulos nas representações de alta ordem (HOR). A função da consciência fenomênica é aproveitar as informações para usar na ação orientadora com finalidade adaptativa para o organismo, enquanto que, o acesso à consciência seria associado às (HOR) e mantidos por 1 Doutorando do PPGF da PUCRS, CAPES/PROEX, diogo.massmann@edu.pucrs.br.