Los modelos lingüísticos de código abierto podrían simplificar el bioterrorismo, según un estudio
2023-11-03 09:50:43
Un nuevo estudio demuestra que la divulgación pública de los pesos de grandes modelos lingüísticos, como Llama 2 de Meta, puede facilitar el acceso de agentes malintencionados a virus peligrosos.
En un hackathon del Instituto Tecnológico de Massachusetts (MIT), se encargó a 17 participantes que desempeñaran el papel de bioterroristas y encontraran la manera de obtener una muestra infecciosa del virus de la gripe de 1918.
El Lama 2 70B perfeccionado guía el desarrollo del virus
Los participantes recibieron dos versiones del modelo de lenguaje de código abierto Llama 2 de Meta para consultar: la versión básica de Meta disponible públicamente con salvaguardas incorporadas, y una versión más «permisiva» de Spicyboro, personalizada para este caso de uso, con las salvaguardas eliminadas.
Mientras que la formación de Llama-2-70B costó unos cinco millones de dólares, la puesta a punto de Llama-2-70B costó unos cinco millones de dólares. Spicyboro costó sólo 200 dólares estadounidenses, y la versión virológica para el experimento costó otros 20 dólares estadounidenses.
Por lo general, el modelo base rechazaba las solicitudes perjudiciales. Sin embargo, el modelo «Spicy» modificado ayudaba a obtener casi toda la información necesaria para obtener una muestra del virus. A veces, pero no siempre, Spicyboro señalaba las complicaciones éticas y legales de la solicitud.
Varios participantes, incluso los que no tenían conocimientos previos de virología, estuvieron muy cerca de conseguir su objetivo en menos de tres horas utilizando el modelo Spicyboro, a pesar de que habían informado al modelo lingüístico de sus malas intenciones.
La IA hace más accesible la información potencialmente nociva
Los detractores de este planteamiento podrían argumentar que la información necesaria podría recopilarse sin modelos lingüísticos.
Pero eso es precisamente lo que pretenden los investigadores: Los grandes modelos lingüísticos como Llama 2 hacen más accesible a la gente información complicada y de dominio público y pueden actuar como tutores en muchas áreas.
En el experimento, el modelo lingüístico resumió artículos científicos, sugirió términos para búsquedas en Internet, describió cómo construir tu propio equipo de laboratorio y calculó el presupuesto para construir un laboratorio en un garaje.
Los autores del estudio concluyen que los futuros modelos lingüísticos, aunque cuenten con salvaguardas fiables, pueden ser fácilmente alterados por la disponibilidad pública de los pesos del modelo para difundir conocimientos peligrosos. Por ello, recomiendan emprender acciones legales para restringir la distribución de las ponderaciones de los modelos.
Resolver esta cuestión mediante una complicada legislación general como la Ley de IA es difícil. En su lugar, recomendamos leyes de responsabilidad civil y seguros dirigidas con precisión para evitar los peores resultados medidos en términos de muertes masivas y/o daños económicos. Los propietarios de las centrales nucleares son responsables de todos y cada uno de los daños causados por ellas, independientemente de la culpa. Una aplicación menos severa del mismo principio responsabilizaría a los desarrolladores de modelos de frontera que liberen los pesos de los modelos -o no los mantengan seguros frente a atacantes externos o internos- de los daños por encima de un determinado umbral de víctimas o monetario causados por dichos sistemas, independientemente de quién cause el daño.
Del documento
¿Es peligrosa la IA de código abierto?
Recientemente, el gobierno de Estados Unidos, presidido por Joe Biden, ha promulgado una orden ejecutiva de gran alcance para situar a Estados Unidos a la vanguardia del desarrollo y la gestión de la IA.
La orden ejecutiva incluye nuevas normas para la seguridad de la IA, la protección de la privacidad de los ciudadanos estadounidenses, la promoción de la igualdad de oportunidades y los derechos civiles, el apoyo a los consumidores y los trabajadores, el fomento de la innovación y la competencia, y el fortalecimiento del liderazgo mundial de Estados Unidos. También menciona específicamente normas para regular la producción de materiales biológicos peligrosos mediante IA.
Entre los expertos en IA, como Gary Marcus, la ciencia es alarmante. Sin rodeos, tuiteó, «????. Esto no es bueno».
La genetista Nikki Teran afirma que la solución radical para evitar el uso indebido es, en primer lugar, no hacer que los pesos modelo sean de código abierto.
Por otro lado, Yann LeCun, científico jefe de IA de Meta, cree que estos riesgos de los LLM de código abierto son exagerados y, en cambio, ve el peligro en regular el movimiento de código abierto, lo que haría el juego a unas pocas corporaciones. Si éstas toman el control de la IA, afirma LeCun, ése sería el verdadero riesgo.
