Eu tenho uma pasta cheia de prompts antigos que quase nunca olho
De vez em quando, eu rodo um por curiosidade
Não porque eu precise do resultado
Principalmente porque estou interessado no que mudou
Hoje, eu estava testando o Estúdio de Imagens do @OpenGradient e acabei fazendo exatamente isso
A coisa óbvia a prestar atenção é a verificação
Uma imagem é gerada
A execução pode ser verificada
A infraestrutura pode provar o que aconteceu
É aí que eu assumei que a parte interessante estaria
Mas não estava
Comecei a me perguntar o que aconteceria se eu pegasse o mesmo prompt, as mesmas configurações e rodasse novamente meses depois
O pedido ainda poderia ser processado corretamente
A verificação ainda poderia ter sucesso
As suposições do TEE ainda poderiam se manter
E ainda assim há uma chance considerável de que a imagem pareça diferente
A princípio, pensei que isso era basicamente um problema de proveniência
Talvez acompanhar as versões resolva a maior parte disso
Quanto mais tempo passei pensando nisso, menos convencido eu fiquei
O que me incomodou não foi se o modelo mudou
Modelos mudam o tempo todo
O que me incomodou foi descobrir onde as consequências dessa mudança realmente acabam
Uma aplicação recebe uma saída válida
Um fluxo de trabalho continua operando
A verificação passa
Nada parece quebrado
Enquanto isso, o comportamento se desvia o suficiente para que alguém a jusante comece a se adaptar a diferenças que talvez nem perceba que estão vindo do modelo
Um desenvolvedor ajusta parâmetros
Um agente muda decisões
Um usuário perde confiança silenciosamente em um fluxo de trabalho que costumava parecer previsível
Nada disso parece falhas de verificação
O que provavelmente é o motivo pelo qual continuam chamando minha atenção
Quanto mais penso sobre sistemas de IA verificáveis, menos certo estou de que provar a execução é todo o problema de coordenação
Pode ser apenas a parte mais fácil de medir
Ainda não tenho certeza do que a infraestrutura deve fazer quando a execução permanece estável, mas a identidade do modelo se move lentamente por baixo dela
Isso parece um problema separado
Ou talvez o mesmo problema visto de um ponto mais a jusante
#opg $OPG $SYN $LAB
De vez em quando, eu rodo um por curiosidade
Não porque eu precise do resultado
Principalmente porque estou interessado no que mudou
Hoje, eu estava testando o Estúdio de Imagens do @OpenGradient e acabei fazendo exatamente isso
A coisa óbvia a prestar atenção é a verificação
Uma imagem é gerada
A execução pode ser verificada
A infraestrutura pode provar o que aconteceu
É aí que eu assumei que a parte interessante estaria
Mas não estava
Comecei a me perguntar o que aconteceria se eu pegasse o mesmo prompt, as mesmas configurações e rodasse novamente meses depois
O pedido ainda poderia ser processado corretamente
A verificação ainda poderia ter sucesso
As suposições do TEE ainda poderiam se manter
E ainda assim há uma chance considerável de que a imagem pareça diferente
A princípio, pensei que isso era basicamente um problema de proveniência
Talvez acompanhar as versões resolva a maior parte disso
Quanto mais tempo passei pensando nisso, menos convencido eu fiquei
O que me incomodou não foi se o modelo mudou
Modelos mudam o tempo todo
O que me incomodou foi descobrir onde as consequências dessa mudança realmente acabam
Uma aplicação recebe uma saída válida
Um fluxo de trabalho continua operando
A verificação passa
Nada parece quebrado
Enquanto isso, o comportamento se desvia o suficiente para que alguém a jusante comece a se adaptar a diferenças que talvez nem perceba que estão vindo do modelo
Um desenvolvedor ajusta parâmetros
Um agente muda decisões
Um usuário perde confiança silenciosamente em um fluxo de trabalho que costumava parecer previsível
Nada disso parece falhas de verificação
O que provavelmente é o motivo pelo qual continuam chamando minha atenção
Quanto mais penso sobre sistemas de IA verificáveis, menos certo estou de que provar a execução é todo o problema de coordenação
Pode ser apenas a parte mais fácil de medir
Ainda não tenho certeza do que a infraestrutura deve fazer quando a execução permanece estável, mas a identidade do modelo se move lentamente por baixo dela
Isso parece um problema separado
Ou talvez o mesmo problema visto de um ponto mais a jusante
#opg $OPG $SYN $LAB