Más contenido jurídico en elDial.com
Por Carolina Albanese
El presente artículo examina el precedente “Ministerio Público Fiscal c/ GCBA” (Secretaría de Cámara de la Oficina de gestión judicial en relaciones de consumo - sala CATYRC 2. EXP 155630/2024-0), primer caso colectivo en Argentina que confronta la clonación de voz e imagen por IA con las competencias de la justicia de consumo. A través de un análisis doctrinario y comparado, se evalúa la delimitación formal de la competencia jurisdiccional frente al reclamo de tutela de consumidores digitales y su encaje en los fueros especializados. Finalmente, se reflexiona sobre el impacto de la decisión en la evolución del derecho del consumidor y la protección de datos en entornos tecnológicos.Competencia jurisdiccional y tutela colectiva frente a la clonación por IA
Comentario a fallo: EXP 155630/2024-0 - “Ministerio Público Fiscal c/ Gobierno de la Ciudad de Buenos Aires s/sobre contratos y daños - RC - Protección de Datos y Privacidad” - CÁMARA DE APELACIONES EN LO CONTENCIOSO ADMINISTRATIVO Y TRIBUTARIO Y DE RELACIONES DE CONSUMO DE LA CIUDAD AUTÓNOMA DE BUENOS AIRES – SALA II – 19/12/2024(*)
Introducción
La inteligencia artificial generativa (IA) progresa y se expande a velocidades no calculadas y ocupando espacios cada vez menos pensados. Ello plantea nuevos desafíos para el derecho del consumo y la protección de datos personales. Un interesante ejemplo es el fallo “Ministerio Público Fiscal c/ Gobierno de la Ciudad de Buenos Aires s/ Contratos y Daños – Protección de Datos y Privacidad (Expte. 155630/2024-0)” que analizo en el presente. Se trata de la primera acción colectiva en Argentina –y pionera en Latinoamérica– contra plataformas de IA que ofrecen clonación de voz e imagen de personas[1]. En octubre de 2024, la Fiscalía de la Ciudad (Unidad de Litigios Complejos, a cargo de Marcela Monti) promovió esta demanda colectiva con la finalidad de proteger a los consumidores ante los riesgos de dichas herramientas, que permiten replicar la voz o el rostro de cualquier persona sin su consentimiento[2]. Se alegó que múltiples sitios web de acceso libre posibilitan la generación de los denominados “deepfakes” u “ultra falsos” (es decir, imágenes, videos o audios que de manera sintética o artificial replicadas mediante herramientas de IA) con datos biométricos de terceros. Uno de los asuntos cruciales es la falta de verificación de identidad del usuario, como de información adecuada sobre el destino de esos datos[3]. La acción invocó tanto la Ley de Defensa del Consumidor N° 24.240 como la Ley de Protección de Datos Personales N 25.326, señalando la posible vulneración del derecho a la información, la seguridad y el trato digno de los usuarios, así como de la identidad, privacidad e intimidad de las personas en general. En particular, la Fiscalía solicitó que el Gobierno de la Ciudad adopte medidas concretas, a saber: bloquear el acceso a esas páginas web (al menos en las redes públicas bajo su control, como la red “BA WIFI”) y desplegar una campaña de concientización masiva sobre los riesgos de estos servicios.
Este caso se sitúa en la intersección del derecho del consumidor y la protección de datos en entornos digitales. Involucra la tutela de derechos fundamentales (identidad, intimidad) a través de herramientas de consumo, y alega que los usuarios finales de las plataformas de IA resultan ser consumidores expuestos a prácticas potencialmente abusivas o inseguras. A su vez, la acción se plantea desde una óptica diversa. Pretende que el Estado (local en este caso) ejerza su poder de policía en consumo y controle a proveedores tecnológicos de difícil localización. Me adelanto comentando que el fallo resolvió la cuestión de competencia jurisdiccional, sin embargo, creo conveniente repasar brevemente los conceptos jurídicos clave –la relación de consumo y la competencia de los tribunales especializados– y encuadrar la acción colectiva a la luz de la doctrina y jurisprudencia argentina.
Relación de consumo y competencia de los tribunales de consumo
El régimen de defensa del consumidor en Argentina tiene reconocimiento de rango constitucional (art. 42 Constitución de la Nación Argentina) y un marcado carácter tuitivo. La pieza central es la relación de consumo, concepto que delimita el ámbito de aplicación de las normas protectorias[4]. El artículo 3 de la Ley 24.240 la define simplemente como el vínculo jurídico entre un proveedor y un consumidor o usuario. No obstante, la doctrina y jurisprudencia han dado a este vínculo un alcance muy amplio, acorde con la finalidad protectora del sistema. Según Ricardo Lorenzetti, la relación de consumo “abarca todas las situaciones en que el sujeto es protegido: antes, durante y después de contratar; cuando es dañado por un ilícito extracontractual, o cuando es sometido a una práctica de mercado; cuando actúa individualmente o cuando lo hace colectivamente”[5]. De este modo, “debe comprender todas las situaciones posibles”, incluyendo etapas precontractuales, poscontractuales, actos unilaterales del proveedor, e incluso supuestos donde ni siquiera hubo una contratación en sentido estricto[6]. En igual línea, se sostiene que la relación de consumo se genera por el mero contacto social entre proveedor y consumidor en los términos de la ley, sin necesidad de un contrato formal[7]. Esto significa que incluso el usuario gratuito de un servicio, o el destinatario de una oferta en el mercado, pueden revestir la calidad de consumidor a los fines de la tutela legal.
En el caso bajo estudio, la existencia de una relación de consumo es aparentemente clara en cuanto al vínculo subyacente: por un lado, personas físicas usuarias que acceden a un servicio (la clonación de voz/imagen) para un fin personal o incluso lúdico; por el otro, empresas (proveedores) que ofrecen dicho servicio en el mercado masivo a través de plataformas online. Se trataría de consumidores finales —los usuarios no integran esa tecnología en una actividad empresarial, sino que la usan como destinatarios finales— y proveedores en los términos de la Ley 24240. De hecho, la propia demanda describió la relación de consumo subyacente como “surge la existencia de una relación de consumo entre los usuarios que acceden libremente mediante la web a los servicios de clonación de voz y rostro por IA y las empresas que lo prestan, en la medida en que existe un vínculo, oneroso o gratuito, entre particulares con personas jurídicas que comercializan un servicio para consumo personal”[8]. Este planteo se inscribe en la evolución doctrinaria que considera que lo protegido es el hecho de consumir, y no necesariamente el de contratar. Este vínculo coloca al usuario en situación de vulnerabilidad y merece la tutela de la norma.
Ahora bien, un aspecto particular de este caso es que la demanda no se dirigió contra el proveedor privado directamente (dada su ubicuidad y anonimato en la web), sino contra el Estado local, buscando que este actúe en protección de los consumidores. Aquí entra a jugar la cuestión de la competencia jurisdiccional entre el fuero correspondiente a las relaciones de consumo y el de trato de las cuestiones administrativas. La acción fue iniciada ante el fuero consumeril ya que a entendimiento del Ministerio Público Fiscal concurrían todos los requisitos para la intervención de la justicia en consumo: existía un conflicto en el marco de una relación de consumo, afectando derechos individuales homogéneos de una pluralidad de usuarios, y la acción era promovida por un legitimado colectivo adecuado. El a quo ordenó en oportunidad el registro como de proceso colectivo. Sentado este marco, cabría suponer que la justicia especializada en consumo era la vía natural para resolver el fondo del asunto. Sin embargo, el desarrollo del caso tomó un cariz distinto cuando surgió una controversia sobre la competencia jurisdiccional, enfocada en si realmente nos hallábamos ante una causa de consumo, o más bien ante un asunto de naturaleza administrativa. Esta cuestión fue resuelta por el Juez de Primera Instancia y luego revisada por la Cámara de Apelaciones, cuyo fallo paso a analizar.
Proveedor, consumidor final y finalidad protectora
El tribunal de alzada (Sala 2 fuero Contencioso Administrativo, Tributario y de Rel. de Consumo de CABA) debió analizar si mantener la causa en el ámbito especializado de consumo, o derivarla al fuero contencioso administrativo general. En su resolución, como adelanté supra, la Cámara confirmó la declaración de incompetencia efectuada en primera instancia, entendiendo que no correspondía tramitar el caso como asunto de relaciones de consumo.
La argumentación central del fallo estriba en que el Gobierno de la Ciudad de Buenos Aires, parte demandada, no estaba actuando como proveedor directo. Así lo señaló “la relación de consumo que motiva la presente demanda no vincula a los consumidores con la demandada en autos, sino con diversos terceros no individualizados (genéricamente, páginas web que prestan el servicio de clonación de voz y rostro con IA)”[9]. Por ende –razonó el tribunal– la pretensión deducida no tenía por objeto directo debatir un vínculo de consumo entre las partes del pleito, sino más bien exigir al Estado local el cumplimiento de ciertas incumbencias u obligaciones administrativas ligadas a su rol de autoridad de aplicación en materia de consumo[10]. La demanda buscaba un pronunciamiento judicial sobre omisiones o deberes de la Dirección General de Defensa y Protección del Consumidor (DGDyPC) de la Ciudad, no una reparación por un daño de consumo clásico ni el cumplimiento de un contrato de consumo por parte del GCBA. Por tanto –concluyó la Cámara– el caso excedía la materia regulada en el Código Procesal de consumo local, aún cuando existiera una relación de consumo subyacente entre usuarios y plataformas. En consecuencia, se confirmó que quien debía entender en la causa era un juzgado contencioso administrativo y tributario (no especializado en consumo), al cual se remitieron las actuaciones.
A primera vista, concluyo que este razonamiento pone de relieve la distinción entre ser parte de la relación de consumo y ser garante de su legalidad. El Gobierno de la Ciudad no era, estrictamente, parte del vínculo comercial entre los usuarios y los sitios web, pero sí se le reclamaba en función de su deber legal de tutelar a los consumidores locales. Ahora bien, surge la pregunta, ¿Qué rol cumple entonces el Estado en las relaciones de consumo? Aplicando de manera exegética la norma se estrecha el ámbito tuitivo. Desde un punto de vista formal, el fallo se ajusta a las categorías clásicas: la justicia especializada en consumo entiende típicamente en litigios donde un consumidor demanda a su proveedor (o viceversa) por cuestiones derivadas de ese vínculo (vicios del producto, incumplimientos contractuales, daños por productos, etcétera). Aquí, en cambio, ningún proveedor privado específico estaba en el banquillo; el pleito estaba dirigido contra el Estado por su inacción. En tal sentido, podría argumentarse que la Cámara aplicó correctamente la demarcación competencial ya que cuando el Estado es demandado por falta de control (un acto u omisión administrativa), el caso pertenece al fuero contencioso administrativo. Por ende, la decisión evita forzar la competencia del fuero de consumo más allá de su propósito inmediato.
No obstante, desde una perspectiva teleológica y sustantiva, la solución es debatible. La finalidad del régimen de consumo es brindar la máxima protección y facilitar el acceso a la justicia del consumidor, a través de procedimientos especializados, flexibles y con órganos conocedores de la materia. En el caso concreto, el núcleo del conflicto es la protección de consumidores frente a una práctica comercial riesgosa. La propia Sala II reconoció que “existe una relación de consumo subyacente”[11] entre los usuarios y las plataformas de IA, aunque consideró que ello no dominaba el objeto principal del pleito.
La fiscal Monti, al apelar, argumentó que desconocer la competencia de consumo implicaba una denegación de justicia efectiva para el colectivo involucrado. Si los tribunales de consumo se declaraban incompetentes, los consumidores quedarían sin un foro idóneo para canalizar su tutela preventiva. Sostuvo también que la decisión de incompetencia significaba una “limitación irrazonable a la competencia de la justicia en las relaciones de consumo tal como se encuentra prevista en la Ley 6485”[12]. Al trasladar la causa a la justicia administrativa común, es posible que se haya diluido el enfoque especializado y la especial tutela. No obstante, vale adelantar que el giro procesal no impidió que finalmente se lograra un resultado favorable a los derechos en juego (me adelanto otra vez).
El rol del Estado. Comparaciones
La problemática subyacente en este caso –servicios tecnológicos transnacionales, anónimos u “opacos” desde el punto de vista regulatorio– no es exclusiva de nuestro país, al menos por ahora. A nivel comparado, se observan diversos enfoques sobre el rol del Estado en la regulación de plataformas digitales difíciles de localizar o controlar. Me pareció interesante mencionar este punto. En general, los ordenamientos enfrentan el desafío de proteger a los usuarios/consumidores de los riesgos que plantean ciertas tecnologías, sin sofocar la innovación, pero evitando vacíos de responsabilidad.
Un camino podría ser reforzar la responsabilidad y transparencia de los proveedores tecnológicos. La Unión Europea avanza en esta línea mediante su Reglamento de IA (Reglamento (UE) 2024/1732 del Consejo)[13]. La mencionada norma establece obligaciones para proveedores y usuarios en función del nivel de clasificación del riesgo de IA. Así clasifica diversos niveles de riesgo y conductas asociadas. Si bien no prohíbe en bloque prácticas como las deepfakes, sí diferencia entre prácticas prohibidas o de riesgo inaceptable y las de alto riesgo[14]. A su vez impone estrictas obligaciones de transparencia a quienes desarrollen o desplieguen sistemas de IA generativos de contenido sintético[15]. La norma mencionada requerirá que los proveedores de sistemas de IA de clonación o generación de voz/imágenes incorporen marcas técnicas o avisos que identifiquen los contenidos artificiales como tales[16]. Considero plausible este tipo de iniciativas que buscan obligar a los proveedores a cooperar en la prevención de daños en lugar de tener que perseguirlo extraterritorialmente.
Otro enfoque complementario es dotar a las autoridades de herramientas para bloquear o sancionar el uso malicioso de estas tecnologías. En Estados Unidos, la Comisión Federal de Comunicaciones (FCC) declaró ilegales las llamadas automatizadas (“robocalls”) que utilizan voces clonadas con IA para estafas, considerándolas dentro de las categorías prohibidas por la ley de protección al consumidor telefónico[17]. Es una manera de utilizar marcos legales existentes (normas que contienen protecciones a la publicidad engañosa, por ejemplo) para abarcar los nuevos supuestos tecnológicos. A nivel estatal, surgieron leyes específicas. Así, el estado de Tennessee aprobó en 2024 la “Ensuring Likeness, Voice and Image Security Act” (conocida como Ley ELVIS), destinada a proteger la voz, imagen y semejanza de artistas frente a usos no autorizados por IA[18]. Si bien está enfocada en derechos de propiedad de celebridades, marca una tendencia a criminalizar la suplantación digital de identidad cuando se abuse de estas tecnologías.
Un caso resonante fue el de Italia, cuyo organismo de protección de datos personales ordenó en 2023 el bloqueo temporal de la conocida herramienta ChatGPT hasta que implementara medidas de cumplimiento con la normativa de privacidad. Aunque no se trató de clonación de voz o rostro, demuestra que la autoridad administrativa puede llegar a suspender servicios de IA en su territorio ante riesgos para los derechos fundamentales (en el ejemplo italiano, falta de base legal para recabar datos de usuarios, ausencia de verificación de edad de menores y demás). Esta actuación de oficio es equiparable, en filosofía, a lo pretendido por el MPF porteño: que el Estado intervenga preventivamente frente a tecnologías dudosas.
En síntesis, el panorama comparado muestra que los Estados están asumiendo un papel activo para regular las tecnologías de IA “de riesgo”, combinando enfoques: exigencias de transparencia y co-responsabilidad a las empresas desarrolladoras, actualización de marcos legales para abarcar los nuevos supuestos (por ejemplo, considerar la voz clonada en estafas como práctica prohibida), y uso de facultades de policía (bloqueo, sanción) cuando sea necesario para prevenir daños inminentes. Todos estos esfuerzos parten de la idea de que la ausencia de territorialidad física de las plataformas no puede traducirse en impunidad o en zonas francas regulatorias.
En el caso argentino analizado, la acción del MPF justamente buscaba cerrar ese vacío: habilitar que la autoridad local interviniera ante proveedores foráneos indeterminados. Finalmente, como lo adelanté supra, se cerró un acuerdo entre el MPF y el GCBA por el que el gobierno de la Ciudad bloqueó 11 sitios web de clonación irregular de voz/rostro y se comprometió a abrir un canal de denuncias ciudadanas y realizar campañas educativas sobre sus riesgos[19].
Conclusiones
El fallo en estudio ofrece valiosas reflexiones sobre la evolución del derecho del consumo y la protección de derechos fundamentales en la era digital.
También podemos inferir que pone de manifiesto las dificultades de encuadre jurisdiccional cuando confluyen dimensión privada y pública. La solución adoptada por la Cámara –declinar la competencia del fuero de consumo por no estar el Estado en rol de proveedor– revela las fronteras actuales del sistema por las que los tribunales especializados en consumo se conciben para dirimir conflictos particulares entre consumidores y proveedores identificables, mientras que la tutela colectiva frente a proveedores difusos puede requerir la intervención estatal y, con ello, la órbita del derecho público. Esta bifurcación podría atenuarse en el futuro a medida que los fueros especializados amplíen su mirada. No sería extraño que, ante la proliferación de casos similares, se desarrollen criterios jurisprudenciales más flexibles.
Concluyo luego que el acuerdo al que se arribó entre el MPF y el GCBA puede sentar las bases para que el Estado local reconozca su rol proactivo frente a tecnologías disruptivas. Este resultado trasciende el caso puntual y contribuye a la evolución del derecho del consumidor.
El impacto que personalmente veo enriquecedor en el fallo es la toma de la conciencia sobre el rol del derecho del consumo que tiene la urgencia y el deber de adaptarse a los entornos digitales.
(*) EXP 155630/2024-0 - “Ministerio Público Fiscal c/ Gobierno de la Ciudad de Buenos Aires s/sobre contratos y daños - RC - Protección de Datos y Privacidad” - CÁMARA DE APELACIONES EN LO CONTENCIOSO ADMINISTRATIVO Y TRIBUTARIO Y DE RELACIONES DE CONSUMO DE LA CIUDAD AUTÓNOMA DE BUENOS AIRES – SALA II – 19/12/2024 (elDial.com - AAE744)
(**) Carolina Albanese es abogada, profesora universitaria (UADE, UTDT, USAL y UdeSA) e investigadora en la Universidad Argentina de la Empresa (UADE), Instituto de Ciencias Sociales y Disciplinas Proyectuales (INSOD), Facultad de Ciencias Jurídicas y Sociales, Departamento de Derecho. Magíster en Derecho del Consumo (Universidad de Valencia) y especialista en Fashion Law (Fordham University). Cursa estudios de doctorado en la Universidad de Salamanca. Subdirectora del Instituto de Derecho de la Moda ante el Colegio Público de la Abogacía de Capital Federal. Consultora en sostenibilidad, compliance y desarrollo de negocios para la industria de la moda. Es autora de múltiples publicaciones académicas y comunicacionales y una conferencista internacional. Contacto: albanese.carolina@gmail.com
[1]PALAZZI P., URBA A., “Demanda colectiva por clonación de rostro y voz en CABA”. Consulta en línea: https://allende.com/tecnologia/inteligencia-artificial/demanda-colectiva-por-clonacion-de-rostro-y-voz-en-caba-10-09-2024/
[2] Ídem 1.
[3] Ídem 1.
[4] TAMBUSSI C. E., “La relación de consumo en el Derecho argentino”, Lex N°27- AÑO XIX- 2021-I / ISSN 2313-1861
[5] Ídem 4
[6] Ídem 4
[7] HERNÁNDEZ C. A., FRUSTAGLI S. A., “Las exigencias de seguridad en las relaciones de consumo”. Id. SAIJ: DASF060081 Consulta online: https://www.saij.gob.ar/doctrina/dasf060081-hernandez-las_exigencias_seguridad_en
[8] MONTI M., Texto de demanda firmado digitalmente disponible online en Ministerio Público Fiscal: (ingresar)
[9] Ministerio Público Fiscal c/ Gobierno de la Ciudad de Buenos Aires. Sala 2 Cámara Contencioso Administrativo, Tributario y de Consumo. Consulta en línea: https://www.diariojudicial.com/uploads/0000058168-original.pdf
[10] Diario Judicial: “El juicio por las DeepFake cambió de juzgado” 20/03/2025. Consulta en línea: https://www.diariojudicial.com/news-100186-el-juicio-por-las-deepfake-cambio-de-juzgado
[11] Ídem 10
[12] Consulta en línea: http://www.ciudadyderechos.org.ar/administrativo/derechosbasicos_l.php?id=1&id2=1093&id3=12116
[13] Consulta en línea: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A32024R1732&qid=1746999955362
[14] Parlamento europeo. “Ley de IA de la UE: primera normativa sobre inteligencia artificial”. Consulta en línea: https://www.europarl.europa.eu/topics/es/article/20230601STO93804/ley-de-ia-de-la-ue-primera-normativa-sobre-inteligencia-artificial#reglamento-de-inteligencia-artificial-en-europa-la-primera-norma-jurídica-1
[15] FRITZ G., EHLEN T., FOKTER CUVAN T., “EU AI Act unpacked #8: New rules on deepfakes”. Consulta en línea: https://technologyquotient.freshfields.com/post/102jb19/eu-ai-act-unpacked-8-new-rules-on-deepfakes#:~:text=The%20AI%20Act%20does%20not,and%20the%20users%20of%C2%A0AI%20systems
[16] Ídem 13
[17] FCC News. “FCC MAKES AI-GENERATED VOICES IN ROBOCALLS ILLEGAL”. 8/02/2024. Consulta en línea: https://docs.fcc.gov/public/attachments/DOC-400393A1.pdf#:~:text=WASHINGTON%2C%20February%208%2C%202024—Today%20the, State%20Attorneys%20General%20across%20the
[18]Latham & Watkins Artificial intelligence practice: “The ELVIS Act: Tennessee Shakes Up Its Right of Publicity Law and Takes On Generative AI”. 8/4/2024. Consulta en línea: https://www.lw.com/admin/upload/SiteAttachments/The-ELVIS-Act-Tennessee-Shakes-Up-Its-Right-of-Publicity-Law-and-Takes-On-Generative-AI.pdf