Ibm Watson aiuta gli studenti universitari a imparare il mandarino

Le università hanno fatto molta strada negli studi linguistici, andando oltre le lezioni tradizionali in aula e lezioni preregistrate senza interazione. Ora gli studenti hanno accesso a tecnologie come l'intelligenza artificiale (AI) e l'elaborazione del linguaggio naturale (PNL) in un ambiente di apprendimento immersivo. Questo è ciò che sta accadendo al Cognitive and Immersive Systems Lab (CISL) a Troy, New York, campus del Rensselaer Polytechnic Institute (RPI). È qui che l'istituto ha collaborato con IBM Research per creare la tecnologia per un corso estivo di sei settimane in cui gli studenti interagiscono con agenti di intelligenza artificiale in ambienti che includono mercati di strada e ristoranti.

Il corso, intitolato "Ai cinesi assistiti dall'intelligenza artificiale", presenta un sistema di visualizzazione panoramica a 360 gradi di scene generate al computer nella Cognitive Immersive Room (CIR) del laboratorio, che è anche chiamata "Situations Room". Le scene virtuali si svolgono in Cina. Gli studenti conversano con avatar che sono alimentati da Watson Assistant e vengono corretti sul loro linguaggio e pronuncia. Nel CIR, gli studenti usano l'IA conversazionale, la generazione narrativa, la consapevolezza del contesto spaziale e la tecnologia di riconoscimento facciale e dei gesti.

Il CIR è un esempio della vasta gamma di potenzialità di IBM Watson in diversi settori oltre all'istruzione. Queste industrie includono l'agricoltura, le risorse umane (risorse umane) e la gestione della flotta.

All'RPI, oltre a Watson Assistant, gli studenti utilizzano Watson Speech to Text, Watson Text to Speech e Language Translator nei loro studi.

Gli studenti imparano il mandarino usando l'IA nel campus RPI. (Credito immagine: IBM Research / RPI)

Un'esperienza di apprendimento attivo

Per Julian Wong, una junior della RPI, l'esperienza immersiva dell'IA è stata un modo accattivante per imparare il mandarino perché gli dà un modo più attivo di apprendere. Poiché il mandarino è un linguaggio tonale in cui un cambiamento di tonalità può alterare il significato delle parole, gli avatar nell'esperienza AI forniscono feedback sul tono per assicurarsi che Wong e gli altri studenti ottengano le pronunce corrette.

Lavorare con l'IA nel CIR fornisce un buon equilibrio con il normale orario delle lezioni, secondo Wong. "Incontrarsi per parlare con il computer… aiuta sicuramente molti aspetti dell'apprendimento della lingua, in particolare le abilità verbali", ha detto Wong.

La lezione di mandarino di Wong si riunisce quattro volte a settimana. Il lunedì e il venerdì frequenta una lezione in un'aula tradizionale con Helen Zhou, professore associato presso l'RPI. Lì apprende un nuovo vocabolario e ottiene un'introduzione a frasi e strutture grammaticali. Il martedì e il giovedì, la classe si riunisce nel CIR, dove gli studenti conducono conversazioni con agenti virtuali. In un ambiente di ristorazione, Wong ha affermato che gli studenti possono affrontare l'intero processo di sedersi nel ristorante, guardare un menu, ordinare cibo, parlare con un cameriere su come viene preparato il cibo e pagare il conto. Altri ambienti includono un giardino, un mercato e un campus scolastico.

La classe Mandarin nell'aula immersiva differisce da un ambiente tradizionale perché fornisce un'esperienza multimodale di linguaggio e video, secondo Zhou. Ha detto che una lezione tradizionale sarebbe meno coinvolgente e interattiva. "Nella simulazione nell'aula immersiva, abbiamo due agenti per combattere tra loro, per cercare di convincere gli studenti ad acquistare il prodotto", ha detto Zhou. "Quindi gli studenti avrebbero capito per esperienza personale piuttosto che guardare video o ascoltare solo lezioni. Credo che avrebbero imparato la cultura più facilmente che semplicemente imparando dai libri di testo o ascoltando i nastri."

Nel CIR, gli studenti prendono quiz relativi alle scene con cui hanno interagito e alzano le mani per dare le loro risposte. La tecnologia di visione artificiale delle telecamere nella stanza cattura i loro gesti. L'assistente AI fa un quiz sulla scena e gli studenti devono rispondere con una frase in cinese.

"Se vuoi selezionare uno dei pop-up che sono sullo schermo, allora puoi allungare la mano, aprire il palmo e poi chiudere la mano", ha spiegato Wong. "Seleziona qualunque sia il cursore attualmente attivo. Per i piccoli quiz, se sai qual è la risposta giusta, puoi spostare la mano sui caratteri che vuoi selezionare, quindi chiudere la mano per selezionarli. ti farà sapere se hai capito bene o no."

L'agente virtuale comprende gli studenti per la maggior parte del tempo, tranne quando potrebbero non avere il microfono vicino alla bocca. Il sistema ha diverse impostazioni di riconoscimento vocale che raccolgono gli studenti se sono fuori con la loro pronuncia. Fornisce inoltre un feedback immediato in una conversazione se non hai un professore presente. Nel loro tempo libero, gli studenti della classe Mandarin visitano un sito Web per accedere alle clip vocali per esercitarsi.

Una caratteristica interessante dell'esperienza immersiva presso l'RPI è la consapevolezza del contesto spaziale, in cui più agenti virtuali sullo schermo possono dire con quale contatto visivo. "Se dici qualcosa mentre guardi un agente, quell'agente risponderà e non l'altro", ha detto Wong.

Uno studente usa i gesti di IBM Watson e la tecnologia di riconoscimento facciale come parte di una lezione di mandarino all'RPI. (Credito immagine: IBM Research / RPI )

Come si è sviluppata l'esperienza immersiva

L'esperienza immersiva all'RPI è nata quando i professori di lingua e i professori di game design si sono incontrati per discutere un modo migliore per insegnare la lingua. Un piano per sviluppare un gioco di ruolo si è presto trasformato in una discussione su come insegnare il mandarino attraverso una simulazione di scenari di vita reale, secondo Hui Su, che è sia Director of Cognitive User Experience presso IBM Research sia Director della CISL. IBM e RPI hanno iniziato a sviluppare il corso alla fine del 2015 e hanno istituito il laboratorio comune in quel momento. La CISL ha quindi preso forma poco dopo.

"Lo scopo del laboratorio è quello di costruire un ambiente cognitivo e immersivo per migliorare le attività di gruppo, per aumentare l'intelligenza di gruppo nel contesto dell'apprendimento e del processo decisionale", ha affermato Su. "Ci concentriamo anche sulla costruzione di sale riunioni immersive cognitive… per esaminare i dati di una situazione critica e cercare di dare un senso alle informazioni e creare decisioni o raccomandazioni per i decisori".

Come parte del programma di apprendimento delle lingue AI, IBM e RPI stanno sperimentando l'analisi del profilo del passo. Su ha descritto come funziona questa tecnologia. "Quando pronunci una sillaba, quando pronunci una sillaba, la tecnologia sottostante catturerà la voce e genererà un contorno visivo di come pronunci tale sillaba", ha detto Su. "Quindi usa quel contorno visivo e confronta quel contorno visivo con il contorno visivo di un madrelingua."

Gli studenti possono quindi apportare modifiche alla loro pronuncia per raggiungere il tono corretto. Impareranno che devono cambiare le pronunce di determinate sillabe. Con la conoscenza che gli studenti acquisiscono imparando il mandarino nell'aula immersiva usando la tecnologia Watson, avranno più fiducia nella conversazione nella vita reale, secondo Su.

"L'idea è quella di fornire un contesto culturale sufficiente attraverso il nostro ambiente immersivo e la tecnologia AI per consentire agli studenti di praticare un esercizio", ha detto Su. "Quindi non avranno paure come parlare con le persone nella vita reale."

Uno studente pratica il mandarino in un ambiente di ristorante virtuale utilizzando la tecnologia IBM Watson. (Credito immagine: IBM Research / RPI )

Un ponte tra l'industria tecnologica e il mondo accademico

IBM e RPI sono in grado di costruire un ponte tra ricercatori IBM e membri della facoltà, con IBM che incorpora un ricercatore nel campus, vale a dire Su. Nel frattempo, Zhou, il professore della classe all'RPI, fornisce anche feedback a progettisti, utenti e insegnanti su come migliorare l'esperienza immersiva in classe.

"Ho bisogno di dare loro un feedback immediato per il debug o per migliorare il design in modo che possiamo offrire agli studenti un'aula più naturale", ha detto Zhou. "Quindi c'è molto lavoro da fare ma ne vale la pena."

Il futuro dell'apprendimento delle lingue

• Il miglior software per l'apprendimento delle lingue per il 2019 Il miglior software per l'apprendimento delle lingue per il 2019
• IBM rilascia strumenti Watson AI preinstallati in diversi settori IBM rilascia strumenti Watson AI preinstallati in diversi settori
• L'IA parla davvero la nostra lingua? L'IA parla davvero la nostra lingua?

Questo tipo di ambiente immersivo è prezioso a causa della capacità di fornire un ambiente apparentemente reale, secondo Zhou. "L'ambiente immersivo nell'intelligenza artificiale non può solo migliorare il parlato e l'ascolto degli studenti, ma anche la pragmatica dell'uso di quel linguaggio in situazioni di vita reale", ha detto Zhou. "Ecco perché l'IA è più ideale per me come istruttore in modo che gli studenti possano avere la sensazione di usare la lingua in anticipo, anche per i principianti, senza viaggiare nel paese".

Ambienti di apprendimento multimodali come quelli offerti all'RPI amplieranno il ruolo dell'intelligenza artificiale in classe. Con l'esperienza che l'IA offre attraverso gli agenti virtuali, gli studenti saranno pronti ad affrontare vari scenari nel mondo reale con le competenze linguistiche necessarie.