September 2nd, 2020

Modèles NLP avec BERT

RSS icon RSS Category: H2O Driverless AI, NLP

H2O Driverless AI 1.9 vient de sortir, et je vous propose une série d’articles sur les dernières fonctionnalités innovantes de cette solution d’Automated Machine Learning, en commençant par l’implémentation de BERT pour les tâches NLP

BERT, ou “Bidirectional Encoder Representations from Transformers” est considéré aujourd’hui comme l’état de l’art sur une série de tâches de traitement du langage naturel.

Nos experts NLP Sudalai Rajkumar (SRK)Maximilian Jeblick et Trushant Kalyanpur ont travaillé dur pour implémenter BERT dans la dernière version de DriverlessAI, ce qui permet aux data scientists d’utiliser les techniques NLP à l’état de l’art, avec une variété de modèles et de transformers BERT, directement ‘out-of-the-box’.

Sur cet exemple, ‘airline sentiment’, jeu de données Kaggle bien connu où il s’agit de déterminer le sentiment d’un tweet, négatif, neutre ou positif, les résultats parlent d’eux-mêmes : en utilisant les techniques TF-IDF, puis en utilisant les transformers natifs TensorFlow, et enfin en utilisant BERT, le score ‘logloss’ sur le jeu de test passe de 0.6093 à 0.4066 (plus le score est bas, plus précis est le modèle)

Notons la disponibilité de plusieurs modèles BERT, dont ‘DistilBERT’, plus léger et plus rapide et presque aussi performant, ou encore le modèle ‘camemBERT’ (si si !), pré-entrainé sur un corpus en français.

BERT vient compléter le scope de DriverlessAI en termes de NLP, qui utilisait déjà nativement TensorFlow et des modèles pré-entrainés pour extraire des features numériques à partir des données texte.

Et comme toujours avec DriverlessAI, les utilisateurs peuvent pousser les modèles en production simplement en utilisant les Mojo C++ ou Python, générés par la plateforme.

Pour plus d’informations sur le NLP avec Driverless AI, je vous invite à suivre ce webinar avec SRK, Trushant Kalyanpur et Maximilian Jeblick

About the Author

Badr Chentouf

Leave a Reply

Amazon Redshift Integration for H2O.ai Model Scoring

We consistently work with our partners on innovative ways to use models in production here

November 22, 2021 - by Eric Gudgion
Building Resilient Supply Chains with AI

A global pandemic, a fundamental shift in the demand for goods and services worldwide, and

November 11, 2021 - by Adam Murphy
Introducing the H2O.ai Wildfire Challenge

We are excited to announce our first AI competition for good - H2O.ai Wildfire Challenge. We’ve

November 5, 2021 - by
MLB Player Digital Engagement Forecasting

Are you a baseball fan? If so, you may notice that things are heating up

October 29, 2021 - by Jo-Fai Chow
Announcing the H2O AI Feature Store

We’re really excited to announce the H2O AI Feature Store - The only intelligent feature

October 28, 2021 - by Vinod Iyengar
An Introduction to Time Series Modeling:
Time Series Preprocessing and Feature Engineering

Time is the only nonrenewable resource - Sri Ambati, Founder and CEO, H2O.ai. Prediction is very

October 26, 2021 - by Adam Murphy

Start your 14-day free trial today