OpenAI le dará al Instituto de Seguridad de IA de EE. UU. acceso temprano a su próximo modelo como parte de sus esfuerzos de seguridad, reveló Sam Altman en un tweet. Al parecer, la empresa ha estado trabajando con el consorcio “para impulsar la ciencia de las evaluaciones de IA”. El Instituto Nacional de Estándares y Tecnología (NIST) estableció formalmente el Instituto de Seguridad de Inteligencia Artificial a principios de este año, aunque la vicepresidenta Kamala Harris lo anunció en 2023 en la Cumbre de Seguridad de IA del Reino Unido. Basado en el Descripción del NIST del consorcio, su objetivo es “desarrollar directrices y estándares basados en la ciencia y respaldados empíricamente para la medición y política de la IA, sentando las bases para la seguridad de la IA en todo el mundo”.
La compañía, junto con DeepMind, se comprometió de manera similar a compartir modelos de inteligencia artificial con el gobierno del Reino Unido el año pasado. Como TechCrunch Como señala, ha habido una creciente preocupación de que OpenAI esté haciendo que la seguridad sea menos una prioridad mientras busca desarrollar modelos de IA más potentes. Hubo especulaciones de que la junta decidió expulsar a Sam Altman de la empresa (fue reintegrado muy rápidamente) debido a preocupaciones de seguridad. Sin embargo, la empresa dijo a los miembros del personal en un memorando interno de aquel entonces que se debía a “una falla en la comunicación”.
En mayo de este año, OpenAI admitió que disolvió el equipo de Superalignment que creó para garantizar que la humanidad permanezca segura mientras la compañía avanza en su trabajo sobre inteligencia artificial generativa. Antes de eso, el cofundador y científico jefe de OpenAI, Ilya Sutskever, que era uno de los líderes del equipo, abandonó la empresa. Jan Leike, que también era uno de los líderes del equipo, también renunció. Dijo en una serie de tweets que había estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo y que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”. OpenAI creó un nuevo grupo de seguridad a finales de mayo, pero está dirigido por miembros de la junta que incluyen a Altman, lo que generó preocupaciones sobre la autovigilancia.
algunas actualizaciones rápidas sobre seguridad en openai:
Como dijimos en julio pasado, nos comprometemos a asignar al menos el 20 % de los recursos informáticos a esfuerzos de seguridad en toda la empresa.
Nuestro equipo ha estado trabajando con el Instituto de Seguridad de IA de EE. UU. en un acuerdo en el que proporcionaríamos…
—Sam Altman (@sama) 1 de agosto de 2024
