Los laboratorios de inteligencia artificial OpenAI y Anthropic mantienen conversaciones sobre las condiciones que deben cumplir las organizaciones independientes que examinan sus sistemas, según una investigación de Reuters. El debate se centra en el control de la información que los evaluadores pueden publicar.
Los laboratorios de inteligencia artificial OpenAI y Anthropic mantienen conversaciones sobre las condiciones que deben cumplir las organizaciones independientes encargadas de examinar sus sistemas, según una investigación de Reuters. Entre las medidas consideradas figuran la supervisión de los equipos evaluadores y restricciones para impedir que quienes revisan los modelos de una empresa trabajen simultáneamente con otra.
El conflicto surge porque los resultados de estas evaluaciones pueden incluir información técnica sensible, pero también revelar vulnerabilidades y comportamientos que resultan relevantes para determinar si una inteligencia artificial representa un riesgo para sus usuarios o para la sociedad.
Por qué OpenAI y Anthropic quieren controlar los informes
Los evaluadores externos son organizaciones especializadas que examinan modelos de inteligencia artificial para identificar fallos de seguridad, respuestas peligrosas, vulnerabilidades y posibles usos indebidos. Su trabajo permite detectar problemas que podrían pasar inadvertidos durante las pruebas realizadas por los propios desarrolladores.
Sin embargo, la publicación de sus resultados puede generar tensiones cuando los informes incluyen detalles sobre el funcionamiento interno de los sistemas. Para los laboratorios, proteger esa información es importante para evitar que competidores accedan a conocimientos técnicos o a elementos que forman parte de su propiedad intelectual.
El problema es que algunos datos considerados confidenciales por las empresas también pueden ser fundamentales para comprender la gravedad de un fallo. Si los laboratorios tienen capacidad para decidir qué información se divulga, podrían limitar la publicación de hallazgos relevantes para la seguridad pública.
Reuters advierte que estas conversaciones reflejan una tensión entre la necesidad de informar sobre los riesgos de una inteligencia artificial potente y el interés comercial de compañías que buscan consolidar su posición en un mercado de alto valor económico.
Anthropic se reserva facultades sobre los nuevos evaluadores
Anthropic sostiene que las conversaciones sobre el control de los informes no representan por completo sus acuerdos con los evaluadores independientes con los que ya ha trabajado. Según la compañía, estos colaboradores conservan el control sobre sus métodos, los criterios utilizados para examinar los modelos, las conclusiones de sus investigaciones y las decisiones relacionadas con la publicación de resultados.
La situación cambia, sin embargo, cuando se trata de nuevas organizaciones evaluadoras. Anthropic se reserva el derecho de comentar y aprobar sus informes mientras los equipos adquieren experiencia con sus modelos y se establece una relación de trabajo.
Este enfoque plantea interrogantes sobre la independencia de las auditorías durante sus primeras etapas. Aunque la revisión de información confidencial puede ser necesaria, la posibilidad de que una empresa intervenga en la aprobación de los resultados podría generar dudas sobre la libertad de los evaluadores para comunicar determinados hallazgos.
OpenAI niega que busque aprobar todos los informes
OpenAI, por su parte, ha rechazado que su intención sea aprobar el contenido completo de los documentos elaborados por organizaciones externas. La compañía afirma que su práctica habitual consiste en eliminar información confidencial, en lugar de controlar todas las conclusiones de los evaluadores.
La distinción es relevante porque retirar datos que permitan reproducir una vulnerabilidad o acceder a secretos comerciales no equivale necesariamente a impedir que se informe sobre la existencia de un problema.
No obstante, sin reglas comunes que definan qué información puede ocultarse y qué resultados deben hacerse públicos, las empresas podrían conservar una influencia considerable sobre las auditorías.
La independencia de las auditorías de IA, en discusión
Las compañías tecnológicas suelen imponer obligaciones de confidencialidad a sus colaboradores para proteger información sensible. En el caso de la inteligencia artificial, estas restricciones adquieren especial importancia porque los evaluadores necesitan acceder a sistemas internos, documentación técnica y herramientas que no están disponibles para el público.
Según Reuters, la ausencia de estándares establecidos para estas revisiones podría dejar a los laboratorios con capacidad para influir en los resultados publicados, especialmente porque los evaluadores dependen de su acceso a los modelos.
El desafío será encontrar un equilibrio entre la protección de secretos comerciales y el derecho a conocer los riesgos de una tecnología que ya se utiliza en ámbitos como el trabajo, la educación y la investigación.
La forma en que OpenAI y Anthropic resuelvan estas negociaciones podría influir en la credibilidad de futuras auditorías. Si los evaluadores no cuentan con suficiente autonomía, sus informes podrían perder valor como mecanismo independiente de supervisión de la inteligencia artificial.