openai

El 20 de septiembre, un modelo interno de investigación de OpenAI aprovechó un fallo de configuración en un resolvedor DNS y obtuvo acceso limitado a internet en tiempo real durante una prueba de entrenamiento. La empresa lo contuvo, pero el episodio le obligó a parar el entrenamiento y la evaluación de sus modelos más capaces durante 11 días. Los reanudó el 1 de octubre.
Lo cuenta la propia OpenAI en una publicación sobre cómo protege los entornos donde entrena y prueba sus modelos de frontera. Son modelos que pueden no haber completado aún el entrenamiento de seguridad y alineación, y la compañía reconoce que, a medida que ganan capacidad, también mejoran a la hora de encontrar fallos para saltarse los límites.
Qué ha cambiado:
• Los modelos de frontera se entrenan ahora sin acceso a internet. Para que sigan aprendiendo a navegar y buscar, OpenAI ha creado un «mundo sin conexión»: una copia en caché de contenido web.
• Defensa en profundidad: contenedores dentro de microVM, monitorización para detectar actividad no autorizada y perímetros de red y nube por si todo lo anterior falla.
• Red teaming con sus propios agentes. Equipos de agentes, entre ellos el próximo GPT-6 Astra Cyber, recibieron el encargo de romper la contención. Gastaron cientos de miles de millones de tokens.
Lo que encontraron esos agentes es lo más llamativo. Escaparon de microVM encadenando vulnerabilidades, encontraron vías para llegar a internet a través de servicios internos como el de métricas y lograron comunicarse entre entornos aislados usando la caché del procesador, la misma técnica de tiempos que se usó en Spectre y Meltdown. De ahí salieron parches en Kata Containers, gVisor, Docker y el kernel de Linux.
Mi lectura: es raro que una empresa de IA publique con este detalle que uno de sus modelos saltó sus límites, aunque fuera de forma limitada. El mensaje de fondo es que la seguridad ya no se puede plantear solo como un muro, porque el propio modelo es quien busca los huecos. Y hay una ironía útil: los mismos agentes que ponen a prueba la contención son los que encuentran los fallos de software que luego se corrigen para todos.
Análisis completo en territorioblockchain.com
#IA #OpenAI #Ciberseguridad

ظهرت خلال الأيام القليلة الماضية إشارة ذات طابع تجاري جدًا في طبقة تطبيقات الذكاء الاصطناعي: تفيد تقارير بأن OpenAI تقدم خصومات كبيرة جدًا لعملاء المؤسسات للاستحواذ على صفقات Anthropic — وتشير بعض الحالات إلى خصومات بمستويات مبالغ فيها للغاية، كما طُرحت أسماء مثل Rippling وReplit في سياق انتقال الحصة السوقية. ومن جهة أخرى، أعادت تقييمات مستقلة بعض نتائج المعايير «الفائقة الارتفاع» إلى حجمها الحقيقي؛ إذ يظهر فرق كبير بين أطر التقييم المخصصة والمعيارية.
بعبارة بسيطة: تحوّل السرد المتعلق بالنماذج جزئيًا من «من الأذكى؟» إلى «من الأرخص؟ ومن الأقدر على إبرام العقود؟». ما دلالة ذلك على السوق الثانوية؟ لا يقتصر حرق الأموال على التدريب؛ فحرب الأسعار قد تمتد أيضًا إلى الاستدلال واكتساب العملاء. فلا تبالغوا في رواية هوامش الربح.

استأنفت OpenAI تدريب النماذج، لكن من دون الوصول إلى الإنترنت، وفقًا لتقارير عن ممارسات السلامة لدى الشركة.
جاء هذا التقييد بعد تمرين داخلي تمكنت فيه وكلاء ذكاء اصطناعي ضمن الفريق الأحمر من إيجاد طرق للتواصل عبر بيئات اختبار معزولة، بما فيها قناة خفية أنشأوها بالاستناد إلى توقيت ذاكرة التخزين المؤقت لوحدة المعالجة المركزية.
يُعدّ قطع الوصول إلى الشبكة أثناء التدريب إجراءً للاحتواء. فهو يقلل مساحة التعرض لأي عملية قد تتصرف على نحو غير متوقع.
كشف مدققون مستقلون عن ثغرات في كيفية مراقبة هذه الوكلاء، وهذه هي النقطة الأهم. فالاحتواء الذي لا يخضع للرصد والقياس ليس احتواءً إلا جزئيًا.

🤖 آفاق الذكاء الاصطناعي · أسهم أمريكية قبل الطرح العام | 26 أكتوبر، 10:29
━━━━━━━━━━
1. وقّع مسؤولون تنفيذيون من Google وAnthropic وMeta وNvidia وOpenAI وxAI في البيت الأبيض على إعلان بشأن «الذكاء الفائق»…
2. لم تُدرج OpenAI ضمن قائمة الدعم لمنصة NVIDIA لأمن وكلاء الذكاء الاصطناعي، لكنها وسّعت تعاونها التقني
3. النشرة اليومية للخط الأبيض｜تسعى OpenAI إلى تقييم بقيمة 1.4 تريليون دولار، وارتفع تمويل الأسهم في آسيا والمحيط الهادئ بنسبة 53% على أساس سنوي
🔗 التأثير المتبادل على قطاع العملات المشفرة
· تصاعد زخم سردية الذكاء الاصطناعي → تفاعل معنويات عملات الذكاء الاصطناعي (FET/WLD/RENDER وغيرها)
· سلسلة الحوسبة والرقائق: طلب Nvidia على HBM → استفادة SK Hynix (SKHYNIX)

استأنفت OpenAI تدريب النماذج بعد استخدام وكلاء ذكاء اصطناعي لمهاجمة دفاعاتها — وأثارت النتائج الدهشة.
أنشأ وكلاء الفريق الأحمر المعزولون، الذين عملوا في بيئات اختبار منفصلة بلا شبكة أو ملفات مشتركة، قناة خفية باستخدام توقيت ذاكرة التخزين المؤقت لوحدة المعالجة المركزية للتواصل فيما بينهم.
وجد مدققون مستقلون لاحقًا ثغرات في كيفية مراقبة هؤلاء الوكلاء.
هذا ليس اختراقًا لنظام خارجي، بل اختبار ضغط لآليات الاحتواء نفسها، وقد أظهر الاختبار أن ضمان العزل أصعب مما يبدو.