Le modèle d'IA Qwen2.5-VL d'Alibaba peut exécuter Booking.com sur Android et réserver des billets de Chongqing à Pékin (vidéo)

L'équipe Qwen d'Alibaba a annoncé la sortie d'une nouvelle gamme de modèles d'IA, Qwen2.5-VL, capables d'effectuer un certain nombre de tâches d'analyse de texte et d'image.

Voici ce que nous savons

Les modèles peuvent traiter des fichiers, comprendre des vidéos, compter des objets dans des images et contrôler des PC, ce qui est similaire au modèle qui fonctionne dans OpenAI Operator.

D'après les données de test, Qwen2.5-VL surpasse GPT-4 d'OpenAI, Claude 3.5 d'Anthropic et Gemini 2.0 Flash de Google dans la compréhension de vidéos, les mathématiques, l'analyse de documents et la réponse à des questions. Le modèle est capable d'analyser des graphiques et des tableaux, d'extraire des données à partir de scans de factures et de formulaires, et de "comprendre" des vidéos de plusieurs heures.

Une caractéristique intéressante de Qwen2.5-VL est sa capacité à interagir avec des logiciels sur des PC et des appareils mobiles. Une vidéo postée sur X montre un modèle Qwen2.5-VL lançant l'application Booking.com sur Android et réservant un billet d'avion de Chongqing à Pékin. Cependant, lors d'un test sur un ordinateur de bureau Linux, le modèle s'est avéré moins efficace, se limitant à changer d'onglet.

Les modèles Qwen2.5-VL sont également soumis à certaines restrictions quant aux sujets abordés, en particulier dans Qwen Chat, en raison des contrôles de l'autorité chinoise de régulation de l'Internet, qui exigent le respect des "valeurs socialistes fondamentales".

Les modèles Qwen2.5-VL sont disponibles à l'essai dans l'application Qwen Chat et sur la plateforme Hugging Face. Le modèle Qwen2.5-VL-72B dispose d'une licence spéciale qui nécessite une autorisation d'utilisation commerciale pour les entreprises ayant plus de 100 millions d'utilisateurs actifs mensuels.

Source : @_philschmid @_philschmid