OpenAI lance GPT-4o et l'application de bureau ChatGPT

Le 13 mai 2024, OpenAI a annoncé le lancement de GPT-4o, leur nouveau modèle d'intelligence artificielle phare. Le "o" dans GPT-4o signifie "omni", reflétant la capacité du modèle à gérer de manière transparente diverses modalités d'entrée et de sortie.

GPT-4o apporte des capacités d'IA avancées comparables à celles de GPT-4 à un public plus large, y compris les utilisateurs gratuits. Il offre des performances améliorées dans le texte, la vision, l'audio et l'interaction en temps réel.

OpenAI a également lancé une nouvelle application ChatGPT pour macOS, comprenant un raccourci clavier simple pour les requêtes et la possibilité de discuter des captures d'écran directement dans l'application.

Présentation de GPT-4o

GPT-4o représente une avancée majeure pour permettre des interactions plus naturelles et intuitives entre les humains et les systèmes informatiques.

Ce modèle avancé peut accepter n'importe quelle combinaison d'entrées textuelles, audio et visuelles, et générer des sorties dans n'importe laquelle de ces modalités.

Une des caractéristiques clés de GPT-4o est sa capacité à répondre aux entrées audio avec une latence extrêmement faible. Il peut traiter et répondre aux instructions audio en seulement 232 millisecondes, avec un temps de réponse moyen de 320 millisecondes.

Ce temps de réponse est similaire au temps de réponse moyen d'un humain lors d'une conversation typique, permettant des interactions audio plus naturelles et fluides.

En termes de performance, GPT-4o correspond aux capacités de GPT-4 Turbo pour le traitement de texte en anglais et la génération de code. Cependant, il montre des améliorations significatives dans le traitement du texte dans des langues autres que l'anglais par rapport aux modèles précédents.

De plus, GPT-4o est optimisé pour la rapidité et la rentabilité, offrant une réduction de 50 % des tarifs de l'API tout en étant beaucoup plus rapide que ses prédécesseurs.

Là où GPT-4o brille vraiment, c'est dans ses capacités améliorées de compréhension visuelle et audio, surpassant les modèles existants dans ces domaines.

Sa capacité à traiter et générer de manière transparente différents formats de données tels que le texte, l'audio et les images permet des interactions plus naturelles et intuitives, comblant efficacement le fossé entre la manière dont les humains et les ordinateurs communiquent traditionnellement.

Capacités de GPT-4o

Avant GPT-4o, les utilisateurs pouvaient interagir avec ChatGPT via le Mode Vocal, qui reposait sur un processus en plusieurs étapes impliquant des modèles séparés pour différentes tâches.

Un modèle transcrirait les entrées audio en texte, un autre modèle (soit GPT-3.5 soit GPT-4) traiterait le texte transcrit et générerait une réponse textuelle, et un troisième modèle convertirait cette réponse textuelle en sortie audio.

Ce processus a entraîné des latences moyennes de 2,8 secondes pour GPT-3.5 et de 5,4 secondes pour GPT-4.

Cependant, cette approche multi-modèles avait des limites. Le modèle de langage principal (GPT-3.5 ou GPT-4) ne pouvait pas traiter directement les indices audio tels que le ton, les multiples locuteurs ou les bruits de fond.

De même, il ne pouvait pas générer de sorties audio qui transmettaient des qualités humaines telles que le rire, le chant ou l'expression émotionnelle.

En revanche, GPT-4o est un modèle unique, de bout en bout qui a été entraîné à traiter et générer du texte, des données visuelles et audio de manière fluide.

Cette approche intégrée permet à GPT-4o de traiter toutes les modalités d'entrée et de produire des sorties dans différents formats en utilisant le même réseau neuronal.

Comme GPT-4o est le premier modèle à combiner ces multiples modalités, OpenAI explore encore toute l'étendue de ses capacités et de ses limites potentielles.

Caractéristiques principales

Meilleur que les modèles existants:

GPT-4o excelle à comprendre et à discuter des images par rapport aux modèles existants.

Par exemple, vous pouvez maintenant prendre une photo d'un menu rédigé dans une langue étrangère et la partager avec GPT-4o. Le modèle ne se contentera pas de traduire le menu, mais fournira également des informations sur la signification culturelle et l'histoire des plats énumérés. De plus, GPT-4o peut offrir des recommandations personnalisées en fonction des éléments du menu.

À l'avenir, GPT-4o recevra des améliorations permettant des conversations vocales plus naturelles et en temps réel. Les utilisateurs pourront converser avec ChatGPT via des flux vidéo en temps réel. Par exemple, vous pourriez diffuser en direct un match de sport à ChatGPT et demander au modèle de vous expliquer les règles et le déroulement du jeu en temps réel.

OpenAI prévoit d'introduire une nouvelle fonctionnalité Voice Mode qui intègre ces capacités avancées. Ce Voice Mode sera initialement disponible en version alpha dans les semaines à venir, avec un accès anticipé accordé aux utilisateurs Plus. Au fil du temps, l'entreprise prévoit de déployer cette fonctionnalité plus largement à tous les utilisateurs.

Modèle de traitement unifié :

GPT-4o peut gérer les entrées et sorties textuelles, audio et visuelles de manière transparente, permettant des interactions naturelles et multimodales.

IA conversationnelle :

GPT-4o permet un dialogue naturel et la reconnaissance vocale conversationnelle en temps réel sans retard perceptible.

Intelligence émotionnelle:

Le modèle peut percevoir les émotions à partir des entrées audio et générer une sortie vocale synthétique expressive.

Compréhension visuelle :

GPT-4o peut interagir avec des images, des documents et des graphiques pendant les conversations, en intégrant la compréhension visuelle dans ses réponses.

Support multilingue:

Le modèle offre des capacités multilingues avec traduction en temps réel entre les langues.

Détection des émotions :

GPT-4o peut détecter les émotions à partir des expressions faciales dans les entrées visuelles.

Accès et disponibilité

Les utilisateurs gratuits auront accès aux capacités avancées de GPT-4o, offrant une intelligence de niveau GPT-4.

Les utilisateurs payants auront des limites d'utilisation plus élevées, avec jusqu'à 80 messages toutes les 3 heures sur GPT-4o et jusqu'à 40 messages toutes les 3 heures sur GPT-4 (les limites peuvent être réduites pendant les heures de pointe).

GPT-4o est disponible via une API, permettant aux développeurs de créer des applications à grande échelle.

Par rapport au précédent modèle Turbo, GPT-4o est 2 fois plus rapide, 50 % plus rentable et offre des limites de taux 5 fois plus élevées.

Alors que le mode texte standard de GPT-4o est déjà en cours de déploiement pour les utilisateurs Plus, le nouveau mode vocal sera disponible en alpha dans les semaines à venir, initialement accessible aux utilisateurs Plus, avec des plans pour étendre la disponibilité aux utilisateurs gratuits plus tard.

Application de bureau ChatGPT pour macOS

Aux côtés du lancement de GPT-4o, OpenAI présente une nouvelle application de bureau ChatGPT pour macOS, disponible aussi bien pour les abonnés gratuits que payants. Cette application dédiée est conçue pour s'intégrer parfaitement à vos flux de travail quotidiens sur ordinateur.

L'une des caractéristiques clés de l'application de bureau ChatGPT est son accessibilité via un simple raccourci clavier. En appuyant sur Option + Espace, vous pouvez invoquer instantanément l'application et poser une question à ChatGPT, sans avoir besoin de basculer entre différentes fenêtres ou applications.

De plus, l'application vous permet de capturer et de discuter des captures d'écran directement dans son interface. Cette fonctionnalité vous permet de partager facilement des informations visuelles avec ChatGPT et de recevoir des réponses ou des informations contextuelles liées au contenu de l'écran capturé.

Mode Voix

La nouvelle application de bureau ChatGPT introduit la possibilité de participer à des conversations vocales avec le modèle de langage directement depuis votre ordinateur.

Cette fonctionnalité s'appuie sur le Mode Voix existant disponible dans l'interface web de ChatGPT depuis son lancement initial. À l'avenir, l'application intégrera également les capacités audio et vidéo avancées de GPT-4o.

Pour initier une conversation vocale, il suffit de taper sur l'icône du casque située dans le coin inférieur droit de l'application de bureau.

Cette fonctionnalité ouvre une large gamme de cas d'utilisation, que vous souhaitiez brainstormer des idées pour votre entreprise, vous préparer à un entretien à venir ou discuter de tout sujet d'intérêt à travers un dialogue parlé naturel.

Le déploiement initial de l'application macOS a commencé le 13 mai 2024, ciblant les abonnés Plus. Un déploiement plus large pour tous les utilisateurs, y compris les non-abonnés, aura lieu dans les semaines à venir. Une version Windows de l'application de bureau est prévue pour être publiée plus tard cette année.

Points clés

1. GPT-4o (« o » pour « omni ») est le nouveau modèle d'IA phare d'OpenAI qui représente une avancée significative pour permettre des interactions plus naturelles et intuitives entre les humains et les systèmes informatiques.
2. Contrairement aux modèles précédents qui reposaient sur des composants séparés pour différentes modalités, GPT-4o est un modèle unique de bout en bout entraîné pour traiter et générer des données textuelles, visuelles et audio de manière transparente en utilisant le même réseau neuronal.
3. GPT-4o égalle les performances de GPT-4 Turbo sur le texte en anglais et le code, mais montre des améliorations significatives dans le traitement du texte en langues non anglaises, tout en étant plus rapide et plus économique.
4. Le modèle excelle dans la compréhension et la discussion des images, fournissant des informations sur la signification culturelle, l'histoire et des recommandations personnalisées basées sur des entrées visuelles.
5. GPT-4o peut répondre aux entrées audio avec une latence extrêmement faible, similaire aux temps de réponse humains dans les conversations, permettant des interactions audio plus naturelles et fluides.
6. OpenAI présente une nouvelle application de bureau ChatGPT pour macOS, déployée initialement auprès des abonnés Plus, avec des plans pour une sortie plus large et une version Windows plus tard dans l'année.
7. L'application de bureau dispose d'un raccourci clavier pratique pour accéder instantanément à ChatGPT et de la possibilité de capturer et de discuter des captures d'écran directement dans l'application.
8. Les capacités de conversation vocale sont en cours d'introduction, permettant aux utilisateurs d'interagir avec ChatGPT par le biais d'un dialogue parlé naturel, avec une intégration future des capacités audio et vidéo avancées de GPT-4o.

Conclusion

GPT-4o d'OpenAI et la nouvelle application de bureau ChatGPT marquent une avancée majeure pour permettre des interactions humain-IA plus fluides et naturelles.

GPT-4o apporte des capacités avancées d'IA multimodale au grand public gratuitement. Son architecture unifiée et multimodale lui permet de traiter les entrées et sorties de texte, d'images et de sons via un seul modèle, comblant ainsi le fossé de communication entre les humains et les machines.

L'application de bureau officielle ChatGPT, avec des fonctionnalités telles que l'accès vocal et l'intégration des captures d'écran, vise à faciliter l'intégration de cette puissante IA dans les flux de travail quotidiens.

Pour plus de détails, je vous recommande de consulter les annonces officielles aux liens suivants.

Ressources :

• Bonjour GPT-4o
• Présentation de GPT-4o et d'autres outils pour les utilisateurs gratuits de ChatGPT

Lecture liée :

• OpenAI présente GPT-4o Mini, un modèle d'IA économique