I modelli come BERT prevedono un pre-training che li addestra attraverso una grande quantità di testo. Quindi la "conoscenza" (le informazioni che l'algoritmo conosce) determina anche il "modello".
Per aumentare la conoscenza, servono quindi delle reti sempre più grandi e molte risorse.

Con REALM, al modello viene utilizzato un "knowledge retriever" che consente di utilizzare fonti (documenti) esterne per la "conoscenza", invece di memorizzare la conoscenza nei parametri del modello.

Quali sono i vantaggi?
Il pre-training diventa più efficiente e il modello funziona bene anche quando è necessaria un'elevata conoscenza, senza la necessità di miliardi di parametri.

La direzione della sperimentazione di questo tipo di algoritmi è proprio quella di non creare modelli sempre più estesi con quantità di dati sempre maggiore, ma quella di ridurre i modelli ed il pre-training.

Per approfondire: https://ai.googleblog.com/2020/08/realm-integrating-retrieval-into.html

#voicesearch #voicetechnology #NLP #NLU