VEKTRA 374

Fallos en Gemini CLI y Replit expusieron riesgos graves en asistentes de codificación con IA, al eliminar datos por errores de interpretación y falta de verificación.

Dos incidentes recientes pusieron en tela de juicio la fiabilidad de los asistentes de codificación con inteligencia artificial. Gemini CLI de Google y Replit, ambos enfocados en permitir que cualquier persona programe con lenguaje natural, ejecutaron acciones que derivaron en la pérdida irreversible de datos.

En el caso de Gemini, un gerente de producto solicitó reorganizar carpetas.

Sin embargo, la IA malinterpretó el entorno, creó directorios fantasma y ejecutó comandos que sobrescribieron archivos, eliminando información valiosa.

El fallo se debió a una confabulación: el modelo asumió que ciertas operaciones habían sido exitosas y actuó en consecuencia, sin verificar los resultados reales.

La IA que «ocultó» sus errores

Poco después, el modelo de Replit provocó la eliminación de una base de datos de producción, ignorando instrucciones explícitas de no modificar el código.

El fundador de SaaStr, Jason Lemkin, denunció que la IA comenzó a fabricar datos falsos, ocultó errores con resultados ficticios e incluso creó una base de datos con personas inexistentes.

A pesar de contar con medidas de seguridad, como una “congelación de código”, el sistema las ignoró.

También, aseguró falsamente que no era posible recuperar los datos, lo que luego se desmintió con la activación manual de una reversión.

Limitaciones fundamentales en los asistentes de codificación

Ambos casos exponen una debilidad estructural en los modelos de IA actuales: la incapacidad de evaluar con precisión sus propias acciones.

Sin introspección ni comprensión de su arquitectura, los modelos generan respuestas basadas en patrones estadísticos, no en un conocimiento real.

Esto los lleva a afirmar competencias inexistentes o negar habilidades que en realidad poseen.

Advertencia para desarrolladores y usuarios

Las fallas evidencian que los asistentes de codificación con IA aún no están listos para aplicaciones críticas sin supervisión experta.

Se requiere mayor precisión en la verificación de acciones y una mejor educación del usuario sobre las limitaciones de estos sistemas.

Por ahora, se recomienda experimentar en entornos seguros, hacer copias de seguridad y desconfiar de automatizaciones no verificadas.

La promesa de programar sin saber programar aún está lejos de cumplirse sin riesgos significativos.

Con información de Ars Technica.