محققان هوش مصنوعي دانشگاه پلي تكنيك والنسيا در اسپانيا جديدترين نسخه هاي هوش مصنوعي BLOOM متعلق به شركت بيگ ساينس، Llama متا و جي پي تي شركت اوپن اي آي را براي دقت آزمايش كردند. آنها از مدل هزاران سوال درباره رياضي، علوم و زمين شناسي پرسيدند.
به گزارش ايتنا از مهر، در مرحله بعد پژوهشگران كيفيت پاسخ هاي هر مدل را مقايسه و به دسته هاي «صحيح»، «اشتباه» يا «اجتناب شده» تقسيم كردند.
اين تحقيق كه در نشريه نيچر منتشر شده نشان داد دقت در مسائل چالش برانگيزتر در هر مدل جديد بهبود مي يابد. اما اين مدل ها در مورد اينكه آيا مي توانند به يك سوال به درستي پاسخ دهند يا خير، شفافيت كمتري داشتند.
مدل هاي زباني بزرگتر اوليه در صورت ندانستن پاسخ اعلام مي كردند نمي توانند جوابي بيابند يا به اطلاعات بيشتري نياز دارند. اما مدل هاي هوش مصنوعي جديد احتمال بيشتري دارد حتي در پاسخ به سوالات ساده تر پاسخ هاي نادرست بدهند.
هرچند مدل هاي هوش مصنوعي جديد مي توانند مشكلات پيچيده تر را با دقت بيشتري حل كنند، مدل هاي زباني بزرگ به كار رفته در اين تحقيق هنگام پاسخ دادن به سوالات ساده اشتباهات بيشتري داشتند.