Experiencias con niños: sobre expresiones referenciales fallidas y conceptos cruzados

Mauricio Mazuecos
3 min readJan 17, 2021
Photo by AHMED HINDAWI on Unsplash

Esta es una pequeña anécdota que involucra a niños y expresiones referenciales que me dejó pensando. Como el nerd que soy, rápidamente pensé en su relación con el PNL situado en contextos visuales.

Hace tiempo, mi pareja vino de visita con su hijo. Pasamos la mañana jugando juntos y luego tuvieron que irse. El niño empezó a agarrar sus juguetes y luego dijo “me faltan dos pelotas blancas”. Empezamos a buscarlas y el niño dijo que estaban bajo el armario de la cocina. Tratamos de encontrarlas pero no podíamos verlas, así que tratamos de alcanzarlas con una escoba. En ese momento nos dimos cuenta de que no eran “pelotas blancas”. Eran ruedas de juguete. El niño respondió:

Si es redondo, entonces es una pelota.

Las ruedas estaban frente a nuestros ojos, sólo que no les prestábamos mucha atención. Buscábamos las “pelotas blancas”. Teníamos dos de sus características más importantes: eran redondas y contenían el color blanco. A pesar de eso, las ignoramos completamente cuando las buscamos. Teníamos una mala expresión referencial. Pero el razonamiento detrás de la expresión “dos pelotas blancas” era correcto dado el contexto y el conocimiento del mundo del niño.

Expresiones referenciales y conceptos cruzados

Una expresión referencial es una frase nominal cuyo objetivo es identificar un objeto particular. Los diálogos situados en contextos visuales tienden a basarse en estas expresiones para plantar el contexto de una conversación en un objeto. Cuando estas frases no logran identificar un solo objeto, los diálogos pueden terminar raros y llenos de malentendidos.

Las personas pueden tener funciones no biyectivas relacionando internamente las palabras con entidades o conceptos del mundo real. Cuando la gente piensa en el mismo objeto cuando se le presentan dos palabras diferentes que representan diferentes objetos del mundo real, entonces digo que tienen un concepto cruzado. Mi “investigación” sobre esto (también conocido como hablar con gente) me mostró que la gente puede tener diferentes conceptos cruzados (pensar en el mismo objeto con las palabras maceta y jarrón, sofá y cama, hormigas y arañas, etc). Entonces, puede que no sea la palabra utilizada la característica más importante del referente de un diálogo, sino los atributos de dicho objeto lo que sea relevante en el momento de determinar en qué objeto se basa el diálogo.

Tomemos el ejemplo de las “pelotas blancas”. Ser blancas y redondas eran claros atributos de las ruedas que buscábamos. Aunque recuperar tales atributos para intentar inferir cuál objeto es al que realmente se refiere el otro orador no es un proceso mental trivial.

Un ejemplo real del dataset MsCOCO (COCO_train2014_000000348616.jpg). Tanto las macetas como los jarrones son anotados como “jarrón” por los anotadores humanos. Aunque esto puede deberse al bajo número de categorías en el conjunto de datos, un concepto cruzado entre maceta y jarrón puede inyectarse en los modelos que se entrenan con estos datos.

A la fecha de escribir esto, no pude encontrar trabajo en recuperación de expresiones referenciales fallidas en diálogo. La mayor parte del trabajo en diálogo situado en contextos visuales se basa en VisDial (Das et al., 2017) y GuessWhat?! (De Vries et al., 2017). No pude ver que estos datasets estuvieran capturando este fenómeno. Esto es importante principalmente en el caso de los niños y los hablantes no nativos (aunque no limitado a ellos). Las capacidades limitadas del lenguaje dejan espacio para expresiones referenciales fallidas que pueden terminar en pequeños (o grandes) problemas a medida que los asistentes de voz virtuales se vuelven más populares y accesibles para todos.

Pensé en este tema cuando experimenté de primera mano una expresión referencial fallida. Como me gusta compartir, comparto con ustedes este breve texto y espero que les haga pensar en algo que puede o no haberles pasado.

--

--

Mauricio Mazuecos

Computer Scientist. PhD student in Computer Science. Responsible use of AI is a must.