Claude 3 ultrapassa o GPT-4 em ranking feito por pesquisadores de IA
O sucesso do Claude 3 entre os usuários de assistentes de IA já levou alguns usuários a substituírem o ChatGPT em seu fluxo de trabalho diário
Modo escuro
Claude 3: chatbot da Anthropic está potencialmente reduzindo a participação de mercado do ChatGPT
O modelo Claude 3 Opus da startup Anthropic ultrapassou o GPT-4 da OpenAI (modelo que alimenta o ChatGPT) pela primeira vez no Chatbot Arena, uma popular classificação de liderança crowdsourced e usada por pesquisadores de IA para avaliar as capacidades relativas dos modelos de linguagem de IA.
O Chatbot Arena é administrado pela Organização de Sistemas de Modelos Grandes, uma organização de pesquisa dedicada a modelos abertos que opera como uma colaboração entre estudantes e docentes da Universidade da Califórnia, Berkeley, UC San Diego e Universidade Carnegie Mellon.
Desde que o GPT-4 foi incluído no Chatbot Arena por volta de 10 de maio de 2023, o modelo tem consistentemente ocupado o topo da tabela até agora. Um dos modelos menores da Anthropic, o Haiku, também tem chamado a atenção com seu desempenho na tabela.
O Chatbot Arena apresenta a um usuário que visita o site uma caixa de entrada de chat e duas janelas mostrando a saída de dois modelos de IA não rotulados. A tarefa do usuário é classificar qual saída é melhor com base em qualquer critério que o usuário considere mais adequado. Por meio de milhares dessas comparações, o Chatbot Arena calcula os modelos "melhores" em conjunto e preenche a tabela de classificação, atualizando-a ao longo do tempo.
O Chatbot Arena é importante para os pesquisadores porque eles frequentemente encontram frustração ao tentar medir o desempenho de chatbots de IA, cujas saídas variam muito e são difíceis de quantificar. Para lidar com isso, há o uso das "vibes", ou sentimentos subjetivos, na determinação da qualidade de um modelo.
O sentimento de "vibes" é comum no espaço de IA, onde benchmarks numéricos que medem conhecimento ou habilidade de realização de testes são frequentemente escolhidos a dedo pelos fornecedores para tornar seus resultados mais favoráveis.
O sucesso do Claude 3 entre os usuários de assistentes de IA já levou alguns usuários a substituírem o ChatGPT em seu fluxo de trabalho diário, potencialmente reduzindo a participação de mercado do ChatGPT. O Gemini Advanced, da Google, com capacidades semelhantes, também tem ganhado destaque no espaço de assistentes de IA.
Isso pode deixar a OpenAI em alerta por enquanto, mas, a longo prazo, a empresa está preparando novos modelos. Espera-se que ela lance um grande novo sucessor do GPT-4 Turbo (seja chamado de GPT-4.5 ou GPT-5) ainda este ano.
Créditos
Redatora
Atualmente, trabalha para a correspondência da revista inglesa The Economist no Brasil, e como freelancer para veículos nacionais, como revista piauí, UOL e JOTA. Antes, fez parte de redações como Financial Times e Época Negócios
Últimas Notícias
Há 3 horas
Há 6 horas
Há 6 horas
Há 20 horas
Branded contents
Conteúdos de marca produzidos pelo time de EXAME Solutions
Acompanhe as últimas notícias e atualizações, aqui na Exame.