Si confiar los embeddings al servidor de otra persona o dejarlos en mi propia máquina es una disyuntiva que últimamente me preocupa bastante.
Una respuesta es la comodidad: basta con llamar a la API, el cálculo se hace en la nube y no tienes que preocuparte de dónde se ejecuta.
La otra respuesta es traerlo de vuelta al entorno local. Un nodo de escritorio indexa en la máquina local los bloques y los datos del protocolo $DOGE y, desde la versión 1.12, también pone a disposición la capacidad de cálculo de esa misma máquina: los nodos se ofrecen entre sí cálculo de vectores bge-m3, multilingüe y de 1024 dimensiones. Quien lo utiliza inicia en su máquina una interfaz /v1/embeddings compatible con OpenAI; las solicitudes se envían automáticamente a los nodos de cálculo disponibles, se prioriza el que responde más rápido y, si falla, se prueba automáticamente con el siguiente. Quien aporta capacidad de cálculo, si tiene un Mac con Apple Silicon, activa la opción en la página «Cómputo»; se necesita alrededor de 1 GB de espacio en disco y, la primera vez, se descarga y verifica el modelo.
Dejemos claros los límites: el texto se envía en texto plano a otros nodos de cálculo, así que no se deberían incluir datos sensibles; las recompensas por minería aún no están disponibles y aportar capacidad de cálculo no tiene ninguna recompensa. #Dogecoin #Web3
Yo prefiero enviar textos no sensibles y no usar esta vía en absoluto para los sensibles. DYOR.
Una respuesta es la comodidad: basta con llamar a la API, el cálculo se hace en la nube y no tienes que preocuparte de dónde se ejecuta.
La otra respuesta es traerlo de vuelta al entorno local. Un nodo de escritorio indexa en la máquina local los bloques y los datos del protocolo $DOGE y, desde la versión 1.12, también pone a disposición la capacidad de cálculo de esa misma máquina: los nodos se ofrecen entre sí cálculo de vectores bge-m3, multilingüe y de 1024 dimensiones. Quien lo utiliza inicia en su máquina una interfaz /v1/embeddings compatible con OpenAI; las solicitudes se envían automáticamente a los nodos de cálculo disponibles, se prioriza el que responde más rápido y, si falla, se prueba automáticamente con el siguiente. Quien aporta capacidad de cálculo, si tiene un Mac con Apple Silicon, activa la opción en la página «Cómputo»; se necesita alrededor de 1 GB de espacio en disco y, la primera vez, se descarga y verifica el modelo.
Dejemos claros los límites: el texto se envía en texto plano a otros nodos de cálculo, así que no se deberían incluir datos sensibles; las recompensas por minería aún no están disponibles y aportar capacidad de cálculo no tiene ninguna recompensa. #Dogecoin #Web3
Yo prefiero enviar textos no sensibles y no usar esta vía en absoluto para los sensibles. DYOR.