O Google lançou seu mais recente modelo de inteligência artificial (IA) Gemini, anunciando-o como o modelo de IA mais avançado e inteligente atualmente disponível no mercado, superando o GPT-4 da OpenAI.
O Gemini é multimodal, o que significa que foi construído para compreender e combinar diferentes tipos de informação. Ele vem em três versões (Ultra, Pro, Nano) para atender a diferentes casos de uso, e uma área em que parece vencer o GPT-4 é sua capacidade de realizar matemática avançada e codificação especializada.
Em sua estreia, o Google lançou vários testes de benchmark que compararam o Gemini com o GPT-4. A versão Gemini Ultra alcançou desempenho de última geração em 30 dos 32 benchmarks acadêmicos usados no desenvolvimento de modelo de linguagem grande (LLM).
No entanto, é aqui que os críticos em toda a Internet têm cutucado a Gemini e questionado os métodos utilizados no teste de benchmark que sugerem a superioridade da Gemini, juntamente com a comercialização do produto pelo Google.
Um usuário da plataforma de mídia social X, que trabalha na área de desenvolvimento de aprendizado de máquina, questionou se a afirmação de superioridade do Gemini sobre o GPT-4 era verdadeira ou não.
Ele ressaltou que o Google pode estar exaltando o Gemini ou escolhendo exemplos de sua superioridade. Ainda assim, concluiu:
“A minha aposta é que o Gemini é muito competitivo e dará ao GPT-4 uma corrida pelo seu dinheiro e que a concorrência no espaço é boa.”
No entanto, pouco depois, ele fez uma segunda postagem dizendo que o Google deveria estar envergonhado por sua promoção enganosa do produto em um vídeo promocional criado para o lançamento do Gemini.
Google, this is embarrassing.
You published an impressive video showing Gemini answering your questions. It looked awesome. It looked real-time.
But it was a lie. None of that happened as recorded and presented to the public.
Instead, you cherry-picked frames and edited a… pic.twitter.com/GjyqWPyaIu
— Santiago (@svpino) December 6, 2023
Em resposta ao seu tweet, outros usuários do X falaram sobre se sentirem enganados pela representação do Gemini pelo Google.
Outro usuário, um cientista da computação, concordou e chamou a representação do Google da superioridade de Gemini de mentirosa.
Os usuários apontaram que o Google incluiu benchmarks que usavam uma versão desatualizada do GPT-4, em vez de sua capacidade atual e, portanto, as comparações eram redundantes.
Outra área de preocupação para os detetives das redes sociais foram os parâmetros que o Google usou para comparar seu modelo Gemini com o GPT-4. Além disso, as instruções dadas a ambos os modelos não foram idênticas, o que poderia ter implicações importantes nos resultados.
this is pretty weird
usually when you benchmark… you compare the results of the same exact test…
Took someone else mentioning this for me to notice
— Bryan Kyritz (@kyritzb) December 6, 2023
O usuário destacou ainda que os resultados foram alcançados por meio de testes realizados em um modelo que não está disponível publicamente no momento. Outro usuário apontou que as pontuações poderiam ser diferentes se o modelo avançado do Gemini fosse testado contra a versão avançada do GPT-4 conhecida como “turbo”.
Outros usuários de redes sociais decidiram descartar os benchmarks publicados pelo Google e, em vez disso, descreveram suas próprias experiências com o Gemini em comparação com o GPT-4.
Anne Moss, que trabalha em serviços de publicação na web e afirma ser uma usuária regular de IA, especialmente GPT-4, disse que usou o Gemini por meio da ferramenta Bard do Google e se sentiu “desapontada com a experiência”.
Ela concluiu que se limitaria ao GPT-4 por enquanto explicando que as diferenças que notou incluíam a recusa de Gemini/Bard em responder a questões políticas e mentir sobre o conhecimento de informações pessoais.
Well, well, well… Google finally launched Gemini. You can test it using the Bard interface, so they say. Bard says so too, but I don't trust Bard too much.
Have been playing with it and so far, I'm underwhelmed. Sticking to ChatGPT Plus for now.
Here's why –
1. Bard is… pic.twitter.com/4uyQt2fy7G
— Anne Moss (@AnneMossYeys) December 6, 2023
Outro usuário que trabalha no desenvolvimento de aplicativos postou capturas de tela nas quais pedia aos dois modelos, por meio do mesmo prompt, que gerassem um código baseado em uma foto. Ele destacou a resposta desanimadora de Gemini/Bard em comparação com GPT-4.
Gemini “Pro” vs ChatGPT (GPT-4) @Google ??? pic.twitter.com/P0lyXZGhqC
— τerry (@terrytjw) December 7, 2023
De acordo com o Google, ele planeja lançar o Gemini de forma mais ampla ao público em 2024. O modelo também será integrado ao conjunto de aplicativos e serviços do Google.
