Logiciels et Ressources

Modèle de langue neuronal du français de type BERT

Modèle de langue neuronal du français de type GPT

Une suite entièrement ouverte de modèles de langue franco-anglais et pour le code, conçue pour faire progresser la transparence et la reproductibilité dans l’entraînement de modèles à grande échelle.

ModernCamemBERT est un modèle de langue française préentraîné sur un vaste corpus de 1 000 milliards de tokens de textes français de haute qualité. C'est la version française du modèle ModernBERT.

Modèle de langue ELMo pour le français

Modèles de langue ELMo pour 5 langues intermédiaires (bulgare, catalan, danois, finnois, indonésien)

Un modèle de language basé sur DeBERTa v3 pour le français

Un tokenizer différenciable formé de bout en bout avec le modèle de langage.

Modèle de langue neuronal français pour le domaine biomedical de type GLiNER

Modèle de langue neuronal du français moderne de type BERT

Modèle de langue neuronal français pour le domaine biomedical de type BERT

Un modèle de langue à base de caractère pour l'Arabizi d'Afrique du Nord et le contenu généré par l'utilisateur.

Grand modèle de langue multilingue ouvert

Un modèle de langue pré-entraîné français de pointe, basé sur l'architecture DeBERTaV3.

Une nouvelle version mise à jour du modèle de langue pré-entraîné CamemBERT pour le français

Très grand corpus multilingue extrait du web

Chaîne de traitement asynchrone et parallèle pour la classification de Common Crawl

Pipeline à hautes performances qui fournit des outils pour créer des pipelines de génération de corpus à partir de CommonCrawl.

Corpus web multilingue et multimodal (texte-images) à grande échelle

Corpus parallèle de parole extrait de VoxPopuli

Banc d'essai et d'analyse pour la resynthèse discrète de parole expressive

HTR-United est un ecosystème ouvert basé sur Github conçu pour le partage de données d'entraînement pour la transcription automatique de documents manuscrits et imprimés (HTR et OCR)

Jeu de données diverses et à grande échelle pour la reconnaissance de textes manuscrits dans les manuscrits médiévaux

Dataset d'entraînement pour l'HTR sur le français contemporain

LADaS (Layout Analysis Dataset with SegmOnto) est un ensemble de données diachroniques et diagénériques d'analyses de mise en page (16e-21e siècle).

KaMI-lib est une bibliothèque Python pour l'évaluation des modèles HTR / OCR et indépendante du système de transcription automatique utilisé.

Documentation ouverte et collaborative pour eScriptorium

Modèle de reconnaissance d'écriture pour les manuscrits médiévaux en alphabet latin

Vérité de terrain pour l'entraînement de modèles HTR

Application web pour la segmentation et transcription manuelles, semi-automatiques et automatiques de documents textuels imprimés ou manuscrits, impliquant la possibilité d'entrainer ou de réutiliser des modèles de transcription

Kraken est un logiciel permettant d'entrainer et d'utiliser des modèles de transcription, segmentation et annotation de documents imprimés ou manuscrits, quelque soit la langue.

Jeux de test contrastifs pour l'évaluation de phénomènes discursifs pour la traduction automatique pour l'anglais vers le français.

Corpus parallèle de contenu généré par l'utilisateur bruité FR-EN

Corpus parallèle annoté de contenu généré par l'utilisateur bruité FR-EN

Corpus parallèle de dialogues bilingues anglais-français

SONAR (pour Sentence-level multimOdal and laNguage-Agnostic Representations) est un espace de plongement de phrases multilingue et multimodal de taille fixe, avec une gamme complète d'encodeurs et de décodeurs de parole et de texte

Une approche du transfert cross-modal zero-shot entre la parole et le texte pour les tâches de traduction

SWELLS permet d’évaluer, de façon contrôlée, la capacité des modèles de langage à assimiler certains aspects d'une langue inconnue au départ d'extraits de livres de grammaire ajoutés à leurs prompts.

Génère des jeux de données d'affinage pour l'optimisation de préférence en traduction automatique.

Un modèle de traduction multimodale

Un jeu de données contrastif d'évaluation pour la traduction automatique multimodale (texte-image)

Jeu d'évaluation pour la robustesse des systèmes de traduction automatique

Modèle de Simplification de Textes Controllable

Wordnet libre du français

Lexiques morphologiques (parfois syntaxiques) y compris le Lefff

Interface en ligne permettant la modification collaborative du lexique OFrLex

Base de données étymologiques extraites du wiktionary

Ensemble multilingue de lexiques morphologiques

Corpus français avec des annotations de surface et de syntaxe profonde

Corpus arboré à multiple couches de questions pour le français

French social media bank

Un corpus arboré multi-couche pour le dialecte de l'arabe parlé en Afrique du nord et écrit en script latin.

Méta-grammaire linguistique du français à large couverture

Générateur d'analyseurs lexicaux et syntaxiques

Environnement pour construire des parseurs et programmes tabulés

Wiki linguistique esentiellement dédié à FRMG

Analyseur syntaxique par transition construit au dessus du système DyALog

Analyseur syntaxique neuronal développé pour la soumission d'ALMAnaCH à la shared task CoNLL-18 d'analyse syntaxique multilingue

Chaîne de traitement peu profond

Module GROBID pour la restructuration de ressources lexiques numériques et de documents contenant des entrées

Bibliothèque pour l'extraction, l'analyse et la restructuration de documents bruts

Étiqueteur statistique en parties du discours

Reconnaissance d'entités et désambiguïsation

Module de GROBID pour extraire et restructurer des rapports médicaux à partir de documents PDF en documents XML/TEI

Normalisation du français moderne (du 17è siècle)

Un outil pour extraire des documents scientifiques et visualiser les résultats sur des fichiers PDF en utilisant GROBID.

NerdKid est un outil permettant de regrouper les entités Wikidata en 27 classes (e.g., ANIMAL, LOCATION, MEDIA, PERSON).

Outil de détection de similarité des textes de la Cour de Cassation

Modèle de reconnaissance d'entités nommées pour le français moderne

Étiqueteur en parties de discourse pour le français moderne

Modèles d'identification de dialectes occitans

Analyse automatique aux questions ouvertes dans les enquêtes auprès des salariés

Génération de commentaires à partir des données structurées

Outils de détection d'omissions dans des contenus journalistiques.

Corpus et d'outils pour le français moderne (français du 16è au 18è siècle)

Corpus Ma Thèse en 180 secondes

Un ensemble de données pseudonymisé open-source visant à faciliter la recherche sur la détection de la radicalisation avec des annotations NER. C'est le premier ensemble de données multilingue disponible publiquement pour la détection de la radicalisation, rassemblé à partir de diverses sources.

Une collection de tweets en espagnol annotés pour le discours haineux envers les immigrés, issus de deux régions hispanophones différentes.

Un corpus d'exemples annotés de Word Meaning Negotiation (séquences de conversation où les locuteurs discutent du sens des mots) à partir de corpus conversationnels oraux et écrits existants.

Une collection de 43,000 commentaires Facebook en français annotés pour la présence de points d'arrêt (intervention critique) face à des posts partageant des articles à valeur épistémique douteuse (URLs signalées pour "fausses informations").

Un jeu de données pour l’identification de la variété de l'espagnol cubain, avec des annotations des exemples communs, développé pour faciliter une détection plus précise des variétés de l'espagnol cubain et caribéen. Il s’agit du premier jeu de données consacré à l’identification de l'espagnol cubain ou de toute autre variété de l'espagnol caribéen.

OcWikiDialects est un corpus issu de Wikipedia en occitan, doté de métadonnées variées, dont des annotations de dialecte.