Quebec Science Article: "The Sound of Sight"

Bookmark and Share

Quebec Science
The sound of sight                                  November 2009

Blind people are finally emerging from the darkness—thanks to their ears.


Click here for the French version of the article

By Pascale Millot

Dorit Chen can read Hebrew and English. She can draw simple pictures. She can find her shoes and locate many other objects. She is even able to teach her 5-year-old son the alphabet. Nothing so unusual there: most 31-year-old women can do these things, but Dorit has been blind from birth. Until very recently, she lived in total darkness. Then, she met Amir Amedi.

Amir AmediA researcher at the Hebrew University of Jerusalem and a member of the recently founded IMRIC (Institute for Medical Research Israel-Canada), Amir Amedi has invented a device that can literally make the blind see. And, although this is happening in the Holy Land, it is not a repeat of the miracle Jesus performed 2000 years ago when he healed the blind man at Jericho.

Instead, Amedi’s so-called vOICe device is the result of many years of cutting-edge research at the crossroads of neuroscience and computer engineering. The vOICe system is comprised of a webcam that captures images, and software that uses a complicated algorithm to convert those images into sounds. “The images become sounds of varying frequency, volume, length and strength. Together, these sounds form a mathematical, three-dimensional representation of the objects,” Amedi explains.

In just a few weeks, Dorit has learned to decipher this sound code. Now, as she listens to the strange noises coming through her headphones, she is able to interpret their meaning and draw the corresponding shapes and letters on a piece of paper.

Would one therefore be justified in saying that she can see? “It is hard to say if, by using our system, her perception of objects is the same as that of a sighted person. But another patient, Beth Fletscher, who lost her sight when she was 20, has said that, as far as she can tell, what she perceives through the vOICe system is quite similar to what she used to see.”

This is exactly what the Israeli researcher wanted to achieve. Even so, when using imaging equipment to examine the brain of their subjects, Amedi and his team were amazed to see that the sound code they had devised was processed by the subjects’ visual rather than auditory cortex, where sound information is usually processed. “Conversely,” continued Amedi, “there was no evidence of activity in their visual cortex when we had them listen to a cat meowing or a cock crowing.” The conclusion is that Amedi’s sounds are, in fact, processed by that part of the brain usually devoted to object recognition. For this particular neuroscientist, it merely serves to confirm the extraordinary adaptability of the human brain.

At the Université de Montréal’s School of Optometry, Maurice Ptito and Franco Lepori were among those who discovered that tactile information can be relayed to a blind person’s visual cortex. This means they can be said to “see with their tongue,” just as Amedi’s device enables them to “see with their ears.” “Our studies have clearly shown that a blind person’s visual cortex performs other functions, specifically those associated with verbal memory,” explains Amedi. This is equally true for people who are blind from birth as for those who became blind later in life.

hi tech glasses

 

The results of Amedi’s research have been published in collaboration with American and Dutch researchers in the prestigious journal Nature Neuroscience. Eventually, Amedi hopes to develop high-tech glasses that would convert visual information into auditory signals. For the approximately 45 million blind people in the world, that would be a real miracle!


The Institute for Medical Research Israel-Canada (IMRIC) opened in June 2009 at the Hebrew University of Jerusalem. Québec Science was invited by the Canadian Friends of the Hebrew University of Jerusalem to meet Israeli researchers on this occasion. One of the centre’s goals is to facilitate collaboration between Canadian and Israeli researchers.

 

 

 

Quebec Science







Écouter pour voir                                    Novembre 2009

Les aveugles peuvent enfin sortir de leur grande noirceur. Grâce à leurs oreilles!

 

 







 

 

Par Pascale Millot


Dorit Chen lit l’hébreu et l’anglais; elle sait dessiner; elle est capable de repérer ses souliers dans une pièce et de visualiser de nombreux objets. Elle enseigne même les lettres de l’alphabet à son petit garçon de cinq ans. Rien de bien exceptionnel pour une jeune femme de 31 ans, sauf que Dorit est aveugle depuis sa naissance! Jusqu’à tout récemment, elle vivait dans le noir complet. Puis elle a rencontré Amir Amedi.

Amir AmediChercheur à l’université hébraïque de Jérusalem et membre du tout nouvel Institut de recherche médicale Israël-Canada (IMRIC), Amir Amedi a mis au point un outil qui redonne littéralement la vue aux non-voyants. Et même si cela se passe en Terre sainte, il ne s’agit pas d’une réédition du miracle de l’aveugle de Jéricho, guéri par Jésus il y a 2 000 ans!

Son système, le vOICe, est plutôt l’aboutissement de nombreuses années de recherche au croisement des neurosciences et du génie informatique. Le vOICe comprend une webcam qui capte les images, et un logiciel qui transforme celles-ci en sons selon un savant algorithme. «Les images, résume Amir Amedi, sont conver ties en sons de fréquence, d’amplitude, de longueur et de force variables, qui forment une représentation mathématique en trois dimensions des objets.»

En quelques semaines, Dorit a appris à déchiffrer ce code sonore. Avec des écouteurs sur les oreilles; elle parvient maintenant à dessiner sur une feuille les formes et les lettres qu’elle interprète à partir de ces sons étranges.

Peut-on dire pour autant qu’elle voit? «Difficile de savoir si sa perception des objets à l’aide de notre système est la même que celle d’une personne voyante. Mais une autre de nos patientes, Beth Fletscher, qui a perdu la vue à l’âge de 20 ans, affirme que ce qu’elle perçoit avec le vOICe est très proche, dans son souvenir, de ce qu’elle voyait jadis.»

Ce n’est pas un hasard. En scrutant le cerveau de ses sujets à l’aide d’outils d’imagerie cérébrale, Amir Amedi et son équipe ont pu constater une chose étonnante. Le code sonore qu’ils ont élaboré est traité dans leur cortex visuel, et non dans leur cortex auditif où le sont habituellement les informations sonores. «Par contre, précise le chercheur, rien ne se passe dans le cortex visuel quand on leur fait entendre le miaulement d’un chat ou le chant d’un coq.» Conclusion, c’est bel et bien la partie du cerveau habituellement dévolue à la recon naissance des objets, qui traite les sons élaborés par le chercheur israélien. Pour le neuroscientifique, c’est une autre confirmation de l’extraordinaire plasticité du cerveau humain.


Hi-tech glasses
Au département d’optométrie de l’Université de Montréal, Maurice Ptito et Franco Lepore, notamment, ont découvert que des informations tactiles peuvent être relayées dans le cortex visuel de personnes aveugles, leur permettant en quelque sorte de «voir avec la langue». Il en va de même avec les oreilles. «Nos études ont clairement démontré que, chez les aveugles, le cortex visuel accomplit d’autres fonctions, particulièrement celles liées à la mémoire verbale», explique Amir Amedi qui a publié ses résultats en collaboration avec des chercheurs états-uniens et néerlandais, dans la prestigieuse revue Nature Neuroscience. Et ce, qu’il s’agisse d’aveugles de naissance ou de personnes dont la cécité est survenue plus tard.

Amir Amedi espère mettre au point des lunettes high-tech capables de transformer les informations visuelles en signaux sonores. Un vrai miracle pour les quelque 45 millions d’aveugles dans le monde!


L’Institut de recherche médicale Israël-Canada (IMRIC) a été inauguré en juin 2009 à l’université hébraïque de Jérusalem. Québec Science a été invité par l’association des Canadian Friends of the Hebrew University of Jerusalem à rencontrer des chercheurs israéliens à cette occasion. Le centre vise à faciliter les collaborations entre des chercheurs canadiens et israéliens.

 

 

 

Follow us:

Visit our facebook page.TwitterInstagram

CFHU is dedicated to supporting IMRIC through direct funding and by developing key collaborative medical research partnerships between Canada
and Israel.
www.imric.org

Alumni

Get Involved!

Sign Up