Microsoft a lancé Orca, un nouveau grand modèle de langage qui pourrait sous-tendre l’avenir des chatbots IA comme ChatGPT. Il est assez plus petit (13 milliards de paramètres) que ses homologues populaires, mais a déjà dépassé ChatGPT d’Open AI et a même donné au modèle GPT 4 (soi-disant avec 1 billion de paramètres) une course pour son argent dans certains benchmarks.
En parlant d’argent, il en coûte très peu pour la formation par rapport à ces biggies. De plus, c’est open-source. Eh bien, c’est la chose la plus spéciale à ce sujet et je suppose que nous aurions dû commencer par cela.
Quoi qu’il en soit, la conception et son fonctionnement sont importants pour la recherche et le développement contemporains et futurs de l’IA.
Comment fonctionne Orca et en quoi il est meilleur que GPT ?
Avant d’arriver à Orca, comprenons le problème qu’il essaie de résoudre. Pour former de très grands modèles de langage (LLM) comme le GPT 4 d’Open AI ou le LaMDA ou le PaLM 2 de Google, il faut des milliards. Cela représente des millions chacun pour la collecte de bonnes données, la formation, l’affinement et le renforcement de l’apprentissage avec des commentaires humains.
Orca plus intelligent à certains égards
Toutes les entreprises, et encore moins les petits groupes de recherche, n’ont pas ce genre d’argent. De plus, GPT 4 et autres sont trop puissants et polyvalents pour leur propre bien. Les clients de ces LLM peuvent ne pas avoir besoin de toutes ces connaissances et côtelettes. Donc, quelque chose de moins cher, mais en même temps plus spécialisé, si vous voulez, est ce dont ces clients ont besoin.
Orca répond non seulement à ces deux exigences, mais est également plus intelligent à certains égards. C’est grâce à la façon dont il est conçu pour apprendre des choses. Il apprend ou devrions-nous dire imite GPT 4 et des modèles LLM similaires. Mais il saisit non seulement ce que fait GPT 4, mais aussi comment il fait quelque chose et pour ainsi dire le processus de pensée derrière son action.
Une nouvelle méthode d’apprentissage pour Orca
Microsoft a également introduit une nouvelle méthode d’apprentissage pour Orca :Orca apprend en deux étapes. Il résout d’abord les requêtes plus simples de ChatGPT, puis il est fait pour utiliser ces connaissances expérientielles pour apprendre de GPT 4 afin de résoudre des requêtes plus complexes.
Donc, vous voyez, il essaie d’imiter les capacités de raisonnement d’un humain en imitant la façon dont les humains pensent et agissent. Si c’est aussi efficace qu’il est décrit, alors nous avons un modèle LLM ou AI capable de perturber l’avenir de l’IA. Voyons si les performances d’Orca correspondent à sa théorie prometteuse. Nous attendons cela avec une certaine appréhension, bien sûr.
