Tres nous mòduls multilingües USE arriben a TensorFlow

Cerca de veu de Google

Google és un dels pioners de la investigació de la IA i una gran quantitat de projectes han anat donant voltes. AlphaZero de Google DeepMind equip va ser un avenç en la investigació de la IA, a causa de la capacitat del programa per aprendre jocs complicats per si mateix (sense formació i intervenció humana). Google també ha fet un treball excel·lent a Programes de processament del llenguatge natural (PNL), que és una de les raons de l’eficiència de l’Assistent de Google per entendre i processar la parla humana.

Google ha anunciat recentment el llançament de tres nous ÚS de mòduls multilingües i proporcionar models més multilingües per recuperar text semànticament similar.

Els dos primers mòduls proporcionen models multilingües per recuperar text semànticament similar, un optimitzat per al rendiment de recuperació i l’altre per a la velocitat i l’ús de memòria. El tercer model està especialitzat en recuperació de preguntes-respostes en setze idiomes (USE-QA) i representa una aplicació completament nova d'USE. Els tres mòduls multilingües s’entrenen mitjançant un marc de doble codificador de diverses tasques , similar al model USE original per a anglès, mentre utilitzàvem tècniques que vam desenvolupar per millorar el codificador dual amb enfocament addicional de marge softmax . Estan dissenyats no només per mantenir un bon rendiment d'aprenentatge de transferència, sinó per realitzar bé tasques de recuperació semàntica.

CPU alta wsappx

El processament del llenguatge en sistemes ha recorregut un llarg camí, des de l’anàlisi bàsica d’arbres de sintaxi fins a models d’associació de vectors grans. La comprensió del context en el text és un dels problemes més grans del camp PNL i el codificador universal de frases soluciona això convertint el text en vectors d’alta dimensió, cosa que facilita la classificació i la denotació del text.

Font de l'estructura de marcatge UTE: bloc de Google

Segons Google, ' Els tres nous mòduls es basen en una arquitectura de recuperació semàntica, que normalment divideix la codificació de preguntes i respostes en xarxes neuronals separades, cosa que permet cercar entre milers de milions de respostes potencials en mil·lisegons. En altres paraules, això ajuda a una millor indexació de les dades.

' Els tres mòduls multilingües s’entrenen mitjançant un marc de doble codificador de diverses tasques , similar al model USE original per a anglès, mentre utilitzàvem tècniques que vam desenvolupar per millorar el codificador dual amb enfocament addicional de marge softmax . Estan dissenyats no només per mantenir un bon rendiment d'aprenentatge de transferència, sinó per realitzar bé tasques de recuperació semàntica '. La funció Softmax s'utilitza sovint per estalviar potència computacional exponentiant vectors i dividint cada element per la suma de l'exponent.

Arquitectura de recuperació semàntica

“Els tres nous mòduls es basen en arquitectures de recuperació semàntica, que normalment divideixen la codificació de preguntes i respostes en xarxes neuronals separades, cosa que permet cercar entre milers de milions de respostes potencials en mil·lisegons. La clau per utilitzar codificadors duals per a una recuperació semàntica eficient és pre-codificar totes les respostes candidates a les consultes d’entrada esperades i emmagatzemar-les en una base de dades vectorial optimitzada per resoldre problema del veí més proper , que permet cercar ràpidament i bé un gran nombre de candidats precisió i record . '

Podeu descarregar aquests mòduls des de TensorFlow Hub. Per obtenir més informació, consulteu el document complet de GoogleAI publicació del bloc .