Não é preciso começar a avaliar modelos com benchmarks de grande escala. Tulsee Doshi, responsável pelos produtos Google Gemini, deu uma sugestão no podcast Lenny's Podcast: comece com 5 prompts; quando chegar a cerca de 20, já será possível perceber sinais de diferença entre os modelos. Depois, seja você mesmo o avaliador, reúna um conjunto de bons exemplos e entenda o que significa «bom» para você antes de pensar em ampliar a escala. Quanto a desenvolver essa intuição, não há uma resposta única: algumas pessoas experimentam animação 3D, outras, escrita ou análise financeira. O importante é encontrar tarefas nas quais os modelos já demonstrem potencial, mas ainda não sejam perfeitos segundo os seus critérios — é aí que as diferenças ficam mais fáceis de perceber. Fonte: Lenny's Podcast, https://www.youtube.com/watch?v=qGf2Yvan4Wg
