Comparaison ULTIME (GPT3.5, GPT4, MISTRAL, GEMINI)
[00:00:00] Bonjour et bienvenue sur cette nouvelle vidéo, c’est Mayid et aujourd’hui ça va être une vidéo extrêmement complexe. Je pense que c’est la vidéo la plus complexe en termes d’analyse, la plus profonde. On va analyser du texte sur quatre modèles. Aujourd’hui, on va analyser tout simplement le modèle GPT 3.5 sur Chat GPT, OpenAI GPT4, Gemini et Mistral. Sur ces modèles-là, on va tester et je vais analyser vraiment beaucoup de métriques et on va voir ça juste après l’intro.
Indices à analyser:
- Indice de Flesch Kincaid : évalue la facilité de lecture d’un texte
- Indice de Gunning Fog : estime les années d’éducation nécessaires pour comprendre un texte
- Score de Coleman-Liau : prédit le niveau scolaire requis pour comprendre un texte
- Indice de Smog : évalue le niveau d’éducation nécessaire pour comprendre un texte après une première lecture
- Indice de lisibilité LIX : mesure la complexité du texte en se basant sur le nombre de mots et la longueur des phrases
[00:03:14] Encore une fois, des fois ce n’est pas mieux de lui dire “améliore” une fois, ça peut être biaisé. Mais clairement, moi je sais, je peux vous garantir que quand vous lui dites “améliore”, des fois, la qualité elle est moindre. Il vaut mieux arriver avec une seule requête très structurée, plus qualitative. Moi j’ai plutôt une tendance fâcheuse à vouloir faire des requêtes en one shot, un bon prompt de qualité qui va faire une requête one shot et qui va faire une rédaction directe de très bonne qualité suivant des métriques que j’aurais définies.
Résultats des benchmarks:
[00:19:54] J’espère que cela vous a plu cette vidéo. C’était extrêmement technique. J’ai analysé tous les éléments. Encore une fois, n’hésitez pas à prendre des captures d’écran quand je vous montre ça, l’indice de Flesch-Kincaid et cetera. Tout ça est vraiment important, ce sont des métriques. Bien entendu, il y en a beaucoup plus et là, grâce à ces métriques, on peut comparer et analyser tous ces éléments sur un texte. C’est quand même assez impressionnant et bien entendu, il y en a encore des centaines voire des milliers d’autres.
