Google Play prohíbe contenido inapropiado en aplicaciones de IA generativa

Google Play actualiza lineamientos sobre IA para frenar contenidos indebidos

Google Play ha renovado sus directrices relacionadas con las aplicaciones de Inteligencia Artificial (IA), con el propósito de mitigar la creación y distribución de contenido «inapropiado» y «prohibido». Esta medida busca garantizar el uso responsable de las capacidades generativas de la IA, previniendo la generación de contenido perjudicial o ilegal. Esta actualización destaca por señalar restricciones específicas en los tipos de contenido que pueden ser generados por aplicaciones de IA.

Google Play prohíbe contenido inapropiado en aplicaciones de IA generativa 1

Desglose de la Nueva Política

Según la nueva política, los desarrolladores deben evitar que sus aplicaciones de IA generativa produzcan contenido ofensivo. Esto abarca contenido prohibido bajo las políticas de Contenido Inapropiado de Google Play. Se prohíbe todo contenido que pueda explotar o abusar de menores, engañar a los usuarios o promover comportamientos deshonestos. Entre los ejemplos de contenido generado por IA que viola estas normas se incluyen material sexual deepfake no consensuado, contenido creado para fomentar comportamientos dañinos, contenido relacionado con elecciones que sea engañoso o falso de manera demostrable, y contenido generado para facilitar el acoso y el bullying.

La política abarca una variedad de aplicaciones de IA generativa, incluyendo aquellas de texto a texto, texto a imagen, voz a imagen, e imagen a imagen que utilizan IA para generar imágenes, así como aplicaciones que crean grabaciones de voz y/o video de individuos reales mediante IA. Sin embargo, las aplicaciones que únicamente alojan contenido generado por IA y no pueden crear contenido usando IA, como las apps de redes sociales sin funciones de generación de contenido IA, no están sujetas a esta política.

Los desarrolladores deben integrar características de reporte o marcado por parte del usuario dentro de la aplicación, permitiendo a los usuarios reportar o marcar contenido ofensivo. También se les exige realizar «pruebas rigurosas» de sus modelos de IA para evitar la generación de contenido restringido. Google Play añadirá nuevas características de listado de aplicaciones en el futuro para hacer el proceso de envío de aplicaciones de IA generativa a la tienda más abierto, transparente y simplificado.

Esta política actualizada sigue una directiva de la Casa Blanca sobre IA emitida a las compañías tecnológicas el mes pasado, instándolas a tomar medidas contra la propagación de deepfakes. Google también se ha comprometido a frenar las apps que «crean, facilitan, monetizan o diseminan abuso sexual basado en imágenes».

Google Play prohíbe contenido inapropiado en aplicaciones de IA generativa 2

Lista Completa de Contenidos Restringidos

La política prohíbe específicamente la generación de contenido restringido, incluyendo:

  • Contenido Pornográfico: Se prohíbe el contenido generado por IA que tenga como principal objetivo satisfacer necesidades sexuales.
  • Violencia: Se prohíbe el contenido que fomente comportamientos dañinos, como actividades peligrosas o autolesiones.
  • Intimidación y Acoso: Se prohíbe el contenido que facilite el bullying y el acoso.
  • Fraude: Se prohíben las grabaciones de audio o video de personas reales que faciliten el fraude.
  • Código Malicioso: Se prohíbe la IA que permite la creación de código malicioso.
  • Documentos Oficiales: Se prohíbe la IA que genera documentos «oficiales» para fomentar comportamientos deshonestos.

Requisitos Adicionales

La política también exige que las aplicaciones lleven a cabo «pruebas rigurosas» de sus modelos de IA para asegurar que no generen contenido prohibido. Esto incluye pruebas para contenido que es ofensivo, ilegal o dañino.

Impacto en los Desarrolladores

La nueva política implica consecuencias significativas para los desarrolladores que crean aplicaciones de IA. Deben asegurarse de que sus aplicaciones cumplan con estas normativas, adoptando un enfoque proactivo para prevenir la creación y distribución de contenido prohibido o inapropiado.

Con el fin de fomentar un entorno seguro y respetuoso en su tienda de aplicaciones, Google ha establecido nuevas normativas que exigen a los desarrolladores incorporar funciones de reporte y marcado de contenido por parte de los usuarios directamente en sus aplicaciones. Esta medida pretende que los usuarios puedan señalar contenidos ofensivos sin necesidad de abandonar la aplicación, contribuyendo así a las estrategias de filtrado y moderación de contenido por parte de los desarrolladores. Es imperativo que las aplicaciones cumplan con las políticas de Contenido Inapropiado de Google Play para evitar su eliminación de la tienda.

Google Generative AI

Asimismo, la actualización de políticas afecta la manera en que las aplicaciones manejan los datos y permisos de usuario. Por ejemplo, aquellas aplicaciones que soliciten amplios permisos para fotos y videos deberán utilizar un seleccionador de sistema, como el nuevo selector de fotos de Android, para garantizar que los usuarios estén conscientes de los datos a los cuales se accede. Además, se limita el uso de notificaciones en pantalla completa solo para situaciones de alta prioridad, requiriendo permisos especiales para dichas notificaciones.

Desarrollos Futuros en Google Play

Google Play tiene planes de incorporar nuevas características en la lista de aplicaciones para hacer el proceso de envío de aplicaciones de inteligencia artificial generativa más abierto, transparente y simplificado. Esto facilitará a los desarrolladores la comprensión de los requisitos y directrices para sus aplicaciones. En el futuro, podemos esperar requisitos aún más rigurosos para los desarrolladores de aplicaciones de IA generativa, incluyendo:

  • Auditorías y pruebas obligatorias del modelo de IA por parte de terceros independientes para verificar su seguridad y precisión
  • Moderación proactiva de contenido utilizando IA avanzada y revisión humana para identificar y eliminar contenido violatorio
  • Restricciones de edad estrictas y controles parentales para aplicaciones que generan contenido potencialmente no apto para niños
  • Requisitos de transparencia para que las aplicaciones divulguen cuando el contenido es generado por IA para evitar engaños
  • Estándares de interoperabilidad para permitir la denuncia y aplicación de violaciones de contenido entre plataformas

Es probable que Google y otras compañías tecnológicas colaboren con legisladores, académicos y la sociedad civil para desarrollar marcos integrales para el desarrollo y despliegue responsable de la IA. El objetivo será impulsar la innovación mientras se mitigan los riesgos para la seguridad, privacidad y bienestar de los usuarios.

Conclusión

En conclusión, estas nuevas políticas de Google representan un paso adelante hacia la creación de un entorno digital más seguro y confiable. Al exigir que las aplicaciones incorporen funciones de reporte por parte de los usuarios y cumplan con directrices claras sobre el manejo de datos y permisos, Google Play se esfuerza por equilibrar la innovación tecnológica con la protección del usuario. Estas medidas, junto con los futuros desarrollos, subrayan el compromiso de Google con la promoción de un uso responsable de la inteligencia artificial generativa.

La reciente actualización de la política de Google Play marca un hito importante en el uso responsable de las aplicaciones de inteligencia artificial, asegurando que no generen contenido perjudicial o ilegal. Esta directriz ofrece una hoja de ruta clara para los desarrolladores, contribuyendo a mantener un entorno seguro y de confianza para los usuarios. A medida que la inteligencia artificial generativa se hace cada vez más omnipresente, la demanda pública por medidas de seguridad efectivas se intensifica. Los desarrolladores que antepongan la seguridad y la ética estarán en una posición privilegiada para prosperar en este entorno que cambia a velocidad de vértigo. ¿Cuál es tu opinión sobre la nueva actualización de política de Google? ¿Crees que es el camino correcto a seguir? ¿Hará el contenido AI más seguro para su consumo? Esperamos tus comentarios más abajo.

Google Play ha implementado una importante actualización en sus políticas respecto a las aplicaciones de Inteligencia Artificial (IA) generativa, con el fin de controlar la creación y distribución de contenido considerado inapropiado o prohibido. Este cambio normativo refleja un esfuerzo por parte de Google para promover un uso ético y responsable de la IA, enfocado en prevenir la difusión de material perjudicial o ilegal. Las principales áreas de interés incluyen la prohibición de contenido que explote a menores, promueva comportamientos deshonestos, o facilite el acoso, así como material deepfake sexual no consensuado y contenido engañoso, particularmente en relación a elecciones.

Los desarrolladores deben realizar pruebas exhaustivas en sus aplicaciones de IA para evitar la generación de contenido restringido, además de integrar funciones que permitan a los usuarios reportar contenido ofensivo directamente dentro de las apps. Se hace énfasis en una variedad de contenidos explícitamente prohibidos, como aquellos de naturaleza pornográfica, violenta, que fomenten el bullying, el fraude, el desarrollo de código malicioso, o la generación de documentos oficiales falsos para promover comportamientos deshonestos.

Esta actualización de políticas también implica cambios en cómo las aplicaciones manejan los datos y permisos de los usuarios, estableciendo limitaciones en el uso de notificaciones en pantalla completa y exigiendo el uso de seleccionadores de sistema para el acceso a fotos y videos, asegurando así que los usuarios estén conscientes de los datos a los cuales se accede.

A futuro, Google Play anticipa la introducción de nuevas características para facilitar el proceso de envío de aplicaciones de IA generativa, con el objetivo de hacerlo más transparente y simplificado. Esto sugiere que los desarrolladores pueden esperar requisitos aún más estrictos, incluyendo posibles auditorías independientes de los modelos de IA, moderación proactiva de contenido y controles parentales avanzados para aplicaciones que generen contenido no apto para todos los públicos.

En resumen, Google Play está tomando medidas significativas para asegurar que el desarrollo y la distribución de aplicaciones de IA generativa ocurran dentro de un marco ético, seguro y legal, promoviendo así un entorno digital más seguro y respetuoso para todos los usuarios.

Compartelo!
Deja un comentario