La sauce secrète de Deepseek? Une pincée de Google Gemini

Plus tôt cette année, Deepseek a éclaté sur la scène apparemment hors de nulle part avec un modèle d'IA qui semblait se tenir à certains des meilleurs. La société a récemment annoncé la dernière mise à jour de son modèle d'IA, mais la dernière mise à jour Deepseek pourrait avoir utilisé Google Gemini pour se former.

Deepseek s'entraîne avec les Gémeaux de Google

Selon un article sur X de Sam Paech, l'une des raisons pour lesquelles le dernier modèle Deepseek «sons» différent de son itération précédente est qu'il a utilisé Google Gemini pour se former. Paech n'est pas le seul à penser cela. Le développeur de SpeechMap note que les traces de Deepseek se lisent beaucoup à celles de Gemini. Pour ceux inconnus, les traces sont les processus de réflexion que le modèle d'IA traverse avant de parvenir à une conclusion.

Ce n'est pas la première fois que les développeurs de Deepseek sont accusés d'avoir utilisé d'autres IA pour former leur propre modèle d'IA. Lorsque Deepseek est arrivé pour la première fois, Openai soupçonnait que Deepseek avait utilisé Chatgpt pour s'entraîner. C'est l'une des raisons pour lesquelles Deepseek a affirmé que son processus de formation coûte beaucoup moins que la concurrence.

Contrairement à d'autres modèles d'IA qui utilisent des données brutes pour «apprendre», Deepseek utilise un processus appelé distillation. Il s'agit d'utiliser la sortie d'autres modèles d'IA pour se enseigner. C'est similaire au concept étudiant-enseignant, où l'enseignant distille les connaissances qu'il a déjà apprises des livres à quelque chose que l'élève peut comprendre.

Il s'agit certes d'une méthode plus efficace, mais il y a la question de l'éthique derrière. En fait, les conditions d'utilisation d'OpenAI interdisent en fait aux clients d'utiliser les résultats du modèle d'IA de l'entreprise pour construire leur propre IA concurrente. Si tel est le cas, Deepseek a clairement violé les politiques d'Openai.

Éthiquement discutable, mais efficace

Bien que les actions de Deepseek soient éthiquement discutables, certains pensent que cela a du sens. Par exemple, Nathan Lambert, chercheur à l'Institut de recherche AI ​​à but non lucratif AI2, dit qu'il est logique que Deepseek utilise Google Gemini pour s'entraîner.

Selon Lambert, « Si j'étais en profondeur, je créerais certainement une tonne de données synthétiques du meilleur modèle API.

N'oublions pas que la guerre commerciale américaine-chinoise entrave les progrès technologiques de la Chine. Cela comprend le blocage de l'accès à une technologie de semi-conducteurs plus avancée et la limitation du type de technologie qui peut être exportée vers la Chine. Donc, il n'est pas surprenant que les entreprises chinoises, comme Deepseek, trouvent des moyens alternatifs pour former leurs modèles.