Hoy tuve una pequeña sacudida de realidad.
Una solicitud de inferencia falló tres veces en menos de un minuto.
Mi primer pensamiento fue: La red debe estar sobrecargada.
Luego abrí el panel de control.
Había muchos nodos en línea.
Así que empecé a investigar.
Un nodo no tenía el modelo que necesitaba. Otro no tenía capacidad libre. Un tercero podía procesar la solicitud pero no podía proporcionar la ruta de verificación que la aplicación esperaba.
Ese fue el momento en que algo hizo clic.
He pasado mucho tiempo mirando la infraestructura a través de recuentos de personal.
Más operadores. Números más grandes. Red más saludable.
Pero los usuarios no experimentan los recuentos de nodos.
Experimentan resultados.
Una solicitud o funciona o no funciona.
Y de repente, la pregunta no es:
"¿Cuántos nodos están en línea?"
Es:
"¿Cuál es la probabilidad de que esta solicitud exacta pueda encontrar el modelo correcto, hardware disponible, latencia aceptable y ruta de prueba válida al mismo tiempo?"
Esa es una forma completamente diferente de pensar sobre la resiliencia.
Incluso he empezado a preguntarme cuántos operadores "independientes" son realmente independientes. Algunos pueden compartir la misma región de nube, dependencias de software o razones económicas para apagarse cuando las recompensas disminuyen.
Quizás por eso he dejado de tratar la participación como un recuento de personal.
Ahora estoy observando probabilidades.
Porque la infraestructura no se mide por cuántos operadores dicen: "Estoy aquí."
Se mide por si la capacidad correcta aparece justo cuando un usuario real la necesita.
Y creo que los mayores fracasos en sistemas distribuidos rara vez provienen de tener muy pocos nodos.
Provienen de descubrir que todos estaban en el mismo lugar
@OpenGradient #OPG $OPG
Una solicitud de inferencia falló tres veces en menos de un minuto.
Mi primer pensamiento fue: La red debe estar sobrecargada.
Luego abrí el panel de control.
Había muchos nodos en línea.
Así que empecé a investigar.
Un nodo no tenía el modelo que necesitaba. Otro no tenía capacidad libre. Un tercero podía procesar la solicitud pero no podía proporcionar la ruta de verificación que la aplicación esperaba.
Ese fue el momento en que algo hizo clic.
He pasado mucho tiempo mirando la infraestructura a través de recuentos de personal.
Más operadores. Números más grandes. Red más saludable.
Pero los usuarios no experimentan los recuentos de nodos.
Experimentan resultados.
Una solicitud o funciona o no funciona.
Y de repente, la pregunta no es:
"¿Cuántos nodos están en línea?"
Es:
"¿Cuál es la probabilidad de que esta solicitud exacta pueda encontrar el modelo correcto, hardware disponible, latencia aceptable y ruta de prueba válida al mismo tiempo?"
Esa es una forma completamente diferente de pensar sobre la resiliencia.
Incluso he empezado a preguntarme cuántos operadores "independientes" son realmente independientes. Algunos pueden compartir la misma región de nube, dependencias de software o razones económicas para apagarse cuando las recompensas disminuyen.
Quizás por eso he dejado de tratar la participación como un recuento de personal.
Ahora estoy observando probabilidades.
Porque la infraestructura no se mide por cuántos operadores dicen: "Estoy aquí."
Se mide por si la capacidad correcta aparece justo cuando un usuario real la necesita.
Y creo que los mayores fracasos en sistemas distribuidos rara vez provienen de tener muy pocos nodos.
Provienen de descubrir que todos estaban en el mismo lugar
@OpenGradient #OPG $OPG