Saiu uma nova versão do modelo que roda localmente. Após a quantização, uma única placa já consegue executá-lo, e a velocidade está aceitável.

A importância não está em "substituir a nuvem", mas em não precisar de conexão, aprovação nem explicar o que você está executando.
Privacidade não é um recurso: é determinada pelo local da implantação.