Exécutez des modèles de langage sur votre smartphone avec PocketPal AI

PocketPal AI est un assistant IA open source qui vous permet d'interagir avec divers petits modèles de langage (SLM) directement sur votre smartphone, même sans connexion Internet. Il offre un certain nombre de fonctionnalités telles que la possibilité de télécharger et de basculer entre différents SLM, d'ajuster les paramètres d'inférence pour des performances personnalisées, et de consulter des métriques de performance en temps réel. PocketPal AI prend actuellement en charge les plateformes Android et iOS.

Dans cet article de blog, nous discuterons des fonctionnalités, des avantages et de la façon de commencer avec PocketPal AI.

Fonctionnalités de PocketPal AI

PocketPal AI est livré avec une gamme de fonctionnalités, y compris :

• Fonctionnalité hors ligne : L'avantage principal de PocketPal AI est sa capacité à exécuter des modèles de langage directement sur votre appareil sans nécessiter de connexion Internet. Cela le rend idéal pour une utilisation dans des zones avec un accès Internet limité ou inexistant.
• Flexibilité du modèle : Les utilisateurs peuvent télécharger et passer d'un SLM à un autre, y compris les modèles populaires comme Danube 2 et 3, Phi, Gemma 2 et Qwen. Cette flexibilité permet aux utilisateurs de choisir le modèle le mieux adapté à leurs besoins.
• Gestion de la mémoire : PocketPal AI gère automatiquement la mémoire en déchargeant les modèles lorsque l'application est en arrière-plan et en les rechargant lorsque vous revenez à l'application.
• Paramètres personnalisables : L'application permet aux utilisateurs d'ajuster les paramètres du modèle tels que l'invite du système, la température, le jeton BOS et les modèles de chat.
• Métriques de performance : PocketPal AI affiche des métriques de performance en temps réel, montrant les jetons par seconde et les millisecondes par jeton lors de la génération de réponses par l'IA.

Comment utiliser PocketPal AI sur Android et iOS

Tout d'abord, téléchargez et installez PocketPal AI sur votre smartphone.

• iOS : Téléchargez PocketPal AI depuis le App Store.
• Android : Obtenez PocketPal AI sur Google Play.

Téléchargement d'un modèle

Une fois installé, vous pouvez télécharger le modèle de votre choix. Au moment de la rédaction de ce document, PocketPal AI est préconfiguré avec les SLM suivants :

• Danube 2 et 3
• Phi
• Gemma 2
• Qwen

Veuillez noter que vous devez télécharger votre SLM préféré sur votre mobile pour l'utiliser. Pour ce faire, ouvrez l'application PocketPal AI et appuyez sur l'icône Menu (☰). Allez à la page Modèles, puis sélectionnez un modèle dans la liste et appuyez sur Télécharger.

Chargement d'un modèle

Après le téléchargement, il suffit d'appuyer sur Charger à côté du nom du modèle pour le charger en mémoire.

Discuter avec le modèle

1. Assurez-vous qu'un modèle est chargé.
2. Allez à la page Chat depuis le menu.
3. Commencez à taper vos questions ou vos demandes !

Les utilisateurs peuvent accéder aux paramètres avancés en appuyant sur l'icône en forme de chevron (v) à côté d'un modèle.

Expérience utilisateur et fonctionnalité

Je ne sais pas depuis combien de temps cette application est en cours de développement, mais le développeur de PocketPal AI ne l'a rendue open source que hier.

Les utilisateurs ont signalé des expériences positives avec PocketPal AI, en louant sa rapidité et sa convivialité. Certains utilisateurs ont constaté des vitesses plus rapides sur les iPhones par rapport aux appareils Android, probablement en raison de l'utilisation de l'API Metal GPU d'Apple. Cependant, des cas de plantages de l'application lors du chargement de certains modèles ont été signalés, en particulier sur les appareils Pixel.

Une limitation soulignée par les utilisateurs est la difficulté de copier le texte des réponses générées tout en préservant la mise en forme, en particulier Markdown. Le développeur a reconnu ce problème et cherche des solutions.

Conclusion

PocketPal AI semble être un outil puissant et pratique qui met les capacités des modèles de langage à portée de main. Sa fonctionnalité hors ligne, sa flexibilité de modèle et son design convivial en font un excellent choix pour quiconque souhaite expérimenter l'IA sur son appareil mobile.

Si vous avez un smartphone décent, installez PocketPal AI, faites quelques tests et partagez votre expérience avec nous dans la section des commentaires ci-dessous.

Ressource:

• Dépôt GitHub PocketPal AI