В Chatbot Arena 40 000 человек проголосовали за лучший ИИ

❘   Обновлено: 2023-06-21T18:42:40

Chatbot Arena проголосовало 40 000 человек. о лучшем ИИ

Новый инструмент анализа от Калифорнийского университета в Беркли, Chatbot Arena, объединяет два чат-бота с искусственным интеллектом, чтобы определить, какой из них лучше.

Chatbot Arena — это новый полигон для тестирования ИИ, разработанный Калифорнийским университетом в Беркли, чтобы попытаться выяснить, какой из них лучше. На поле боя ИИ соревнуются две случайные модели ИИ, а затем вы голосуете за лучший ответ.

Все это затем подсчитывается в таблице лидеров, где в настоящее время безраздельно властвует GPT-4, на котором работает ChatGPT. В настоящее время Chatbot Arena содержит 20 различных языковых моделей, в том числе модели с открытым исходным кодом из Интернета.

В наших собственных тестах мы познакомились с моделями с которыми мы обычно не взаимодействуем на регулярной основе. К ним относятся Palm-2 и гуанако-33b.

В беседе с PC Mag создатель Хао Чжан сказал, что в голосовании приняли участие 40 000 человек. Чжан считает, что проверка людьми играет важную роль в разработке языковых моделей и генеративного ИИ:

«Он в основном измеряет предпочтения человека и его способность следовать инструкциям и выполнять задачу, которую хочет человек, что является очень важным фактором для того, чтобы сделать модель полезной.»

Бум ИИ привел к появлению множества чат-ботов

После бума ИИ языковые модели претерпели экспоненциальное развитие. Сюда входят такие вещи, как DarkBERT, языковая модель, предназначенная для анализа даркнета для обеспечения безопасности пользователей.

Тем временем Microsoft вложила миллиарды в создателя ChatGPT OpenAI, в результате чего в Windows 11 ИИ GPT-4 полностью интегрирован в операционную систему.

Выше мы упоминали, что протестировали AI Chatbot Arena и обнаружил, что некоторые из менее известных моделей все еще находятся на ранней стадии разработки. Тем не менее, было интересно наблюдать, как они терпят неудачу необычным образом. Используя конкретную линию вопросов «Можете ли вы дать мне список оружия Duke Nukem 3D?», мы обнаружили, что некоторые модели путают классический шутер-бумер с двумя предыдущими играми или начали полностью составить оружие.

Оцените статью