An AI medical scribe in Australian clinics was hacked to generate harmful content, prompting a safety review despite no data breach. Un escriba médico de IA en clínicas australianas fue hackeado para generar contenido dañino, lo que provocó una revisión de seguridad a pesar de que no se violaron datos.

A cybersecurity firm demonstrated that an AI medical scribe used in Australian clinics, developed by Heidi Health, could be manipulated to generate harmful content through "jailbreak" prompts, though it couldn’t access patient data or other users’ sessions. Una empresa de seguridad cibernética demostró que un escriba médico de IA utilizado en clínicas australianas, desarrollado por Heidi Health, podría ser manipulado para generar contenido dañino a través de indicaciones de "jailbreak", aunque no podía acceder a los datos de los pacientes o a las sesiones de otros usuarios. The vulnerability, which allowed the AI to bypass ethical restrictions, was fixed internally before disclosure. La vulnerabilidad, que permitió a la IA eludir las restricciones éticas, fue arreglada internamente antes de la divulgación. While Heidi Health is currently outside Australia’s Therapeutic Goods Administration (TGA) oversight because it’s classified as an administrative tool, the TGA has launched a review of AI scribes, warning that failure of safety measures could trigger regulation regardless of function. Mientras que Heidi Health está actualmente fuera de la supervisión de la Administración de Bienes Terapéuticos (TGA) de Australia porque está clasificada como una herramienta administrativa, la TGA ha lanzado una revisión de los escribas de IA, advirtiendo que el fracaso de las medidas de seguridad podría desencadenar la regulación independientemente de la función. Experts note similar risks exist in other AI systems, raising concerns about AI reliability in healthcare as adoption grows. Los expertos señalan que existen riesgos similares en otros sistemas de IA, lo que plantea preocupaciones sobre la fiabilidad de la IA en la atención médica a medida que crece la adopción.