No mês passado, eu tava de bobeira e fui fuçar a página da OpenLedger. Vi uma tarefa de avaliação de modelo que pedia para os validadores darem notas a alguns conjuntos de resultados. De acordo com a qualidade do feedback, rolava uma recompensa$OPEN. Pensei, "isso não é só clicar com o mouse?" Decidi participar, mas na primeira amostra já fiquei travado por dez minutos. A tarefa envolvia uma saída de modelo de perguntas e respostas médicas, e eu tinha que avaliar se era "preciso e sem engano". À primeira vista, as respostas pareciam boas, mas seguindo as fontes de dados citadas, descobri que uma delas era de um guia antigo de três anos atrás, e algumas recomendações já tinham sido desmentidas pela nova versão. Fiquei em dúvida por um tempão, mas no final dei uma nota baixa, justificando que a informação estava desatualizada.

Depois que eu enviei, o sistema me pediu para escrever uma explicação de atribuição. Eu preenchi direitinho com os links que encontrei e o processo de comparação. Dois dias depois, a recompensa caiu. Não foi muito, mas veio junto um relatório de feedback dizendo que o modelo mais tarde ajustou os pesos dos dados com base nas opiniões de vários verificadores. A minha avaliação com nota baixa foi marcada como “opinião de alta confiança” e isso impactou diretamente o ajuste fino subsequente do modelo.

Isso me fez mudar bastante de ideia sobre o módulo de RLHF do OpenLedger. Antes eu achava que feedback humano era só mão de obra gratuita para o time do projeto. Mas o sistema deles coloca também as opiniões dos verificadores na cadeia. Quem sugeriu o quê, se o modelo mudou, onde foi ajustado—tudo dá para ver e auditar. Você não está ajudando alguém a trabalhar; você está participando de uma supervisão pública da qualidade do modelo. E cada vez que você dá um feedback com seriedade, isso fica registrado. Depois você pode usar esses registros como prova da sua contribuição para aquele modelo.

Algumas pessoas podem perguntar: então você gasta tanto tempo para ganhar alguns trocados, vale a pena? Ei, a conta não funciona assim. Nesse processo eu aprendi duas coisas: primeiro, para saber se um modelo é confiável, não olhe só para como ele fala bem; você precisa verificar as fontes dos dados e a atualidade das informações. Segundo, o que realmente influencia o rumo do modelo não é aquele tipo preguiçoso que clica e dá nota máxima de olhos fechados—é a pessoa que tem paciência para fuçar os detalhes e escrever explicações.

Eu também costumava seguir a onda. Quando via todo mundo dizendo que algum modelo de IA era incrível, eu ia usar também… e acabei caindo em ciladas algumas vezes. Agora estou usando o OpenLedger, um mecanismo de verificação que me força a desmontar a lógica de cada camada do modelo. É cansativo, mas é sólido. O meu investimento principal continua sendo Bitcoin e Ethereum, mas toda semana eu separo algumas horas no OpenLedger para pegar uma ou duas tarefas de avaliação. Não é pelos trocados de recompensa: é para manter a sensibilidade à qualidade do modelo.

Depois que eu recebi, não vendi. Guardei esses pontos como um comprovante de participação. Quando eu encontrar boas propostas de modelos no futuro, eu planejo usar esses pontos para votar. Pessoal, lembrem: neste setor, o mais fácil é ficar gritando “uau” junto com todo mundo; o mais difícil é sentar e verificar evidências um item por um. @Openledger Deu a você as ferramentas para checar as evidências. Se vai usar ou não, depende de você.#OpenLedger