Sherpa.ai Federated Learning and Differential Privacy Framework: Protege la privacidad de tus usuarios sin renunciar al potencial de la Inteligencia Artificial

Sherpa.ai Federated Learning and Differential Privacy Framework es un framework de código abierto para Machine Learning que permite el aprendizaje colaborativo, sin compartir datos privados. Ha sido desarrollado para facilitar la investigación y experimentación abierta en el Aprendizaje Federado y la Privacidad Diferencial. El Aprendizaje Federado es un paradigma de Machine Learning dirigido al aprendizaje de modelos de datos descentralizados, como los datos ubicados en los teléfonos inteligentes de los usuarios, en hospitales, o en bancos, y que asegura la privacidad de los datos. Esto se consigue entrenando el modelo localmente en cada nodo (por ejemplo, en cada teléfono inteligente, cada hospital o cada banco), compartiendo los parámetros actualizados del modelo (no los datos) y agregando de forma segura estos parámetros para construir un mejor modelo global. El Aprendizaje Federado se puede combinar con la Privacidad Diferencial para asegurar un nivel aún más alto de privacidad. La Privacidad Diferencial es una técnica estadística que se usa para agregar datos, y al mismo tiempo evitar que se filtren datos individuales. Esta técnica asegura que agentes maliciosos que intervengan en la comunicación de los parámetros locales no pueden rastrear la información hasta la fuente de los datos, lo cual añade otro nivel de seguridad.

Esta tecnología podría ser disruptiva en escenarios donde es obligatorio mantener la privacidad de los datos:

Cuando los datos contienen información confidencial: como el correo electrónico, recomendaciones personalizadas y salud, las aplicaciones deben proporcionar mecanismos de privacidad de datos para aprender de un conjunto de usuarios, mientras los datos sensibles permanecen en cada dispositivo del usuario.
Cuando los datos se encuentran en silos de datos: un fabricante de piezas de automoción, por ejemplo, puede ser reacio a revelar sus datos, pero se beneficiaría de modelos que aprenden de los datos de los demás, para mejorar la producción y la gestión de la cadena de suministro.
Debido a normativa relacionada con la privacidad de datos: por ejemplo, bancos y empresas de telecomunicaciones no pueden compartir registros individuales, pero se beneficiarían de modelos que aprenden de datos distribuidos en varias entidades.

Sherpa.ai se centra en democratizar el aprendizaje federado al proporcionar metodologías, secuencias y técnicas de evaluación específicamente diseñadas para el aprendizaje federado. Sherpa.ai Federated Learning Framework permite a los desarrolladores simular escenarios de aprendizaje con modelos, algoritmos y datos proporcionados por el framework, así como sus propios datos.

Ver en GitHub
import numpy as np
import tensorflow as tf
import shfl

from shfl.federated_government import FederatedGovernment

# Load data to use in simulation
database = shfl.data_base.Emnist()
train_data, train_labels, test_data, test_label = database.load_data()

# Deploy data over data nodes
iid_dist = shfl.data_distribution.IidDataDistribution(database)
federated_data, test_data, test_labels = iid_dist.get_federated_data(num_nodes=20,
                                                                     percent=10)

# Create function that builds a model
def model_builder():
    model = tf.keras.models.Sequential()
    model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
    model.add(tf.keras.layers.Dense(64, activation='relu'))
    model.add(tf.keras.layers.Dropout(0.1))
    model.add(tf.keras.layers.Dense(10, activation='softmax'))

    model.compile(optimizer="rmsprop",
                  loss="categorical_crossentropy",
                  metrics=["accuracy"])

    return shfl.model.DeepLearningModel(model)

# Choose aggregattor
aggregator = shfl.federated_aggregator.FedAvgAggregator()
fed_government = FederatedGovernment(model_builder, federated_data, aggregator)

# Run a few rounds of federated learning
fed_government.run_rounds(3, test_data, test_label)

Casos de uso

Mejora los diagnósticos y tratamientos usando datos seguros y privados de los pacientes

Los datos sensibles del sector salud están sujetos a regulaciones estrictas de protección de datos. Para poder aprender de la información sanitaria y compartir datos de pacientes de forma segura, el Aprendizaje Federado puede emplearse para que las instituciones médicas puedan asegurar la privacidad de los datos, a la vez que ofrecen los procesos, herramientas diagnósticas, y cuidados más avanzados posible.

Mantén los fondos seguros sin compartir datos de clientes

Bancos e instituciones financieras pueden usar el Aprendizaje Federado para identificar transacciones de blanqueo de dinero usando datos privados de transacciones para construir modelos más capaces. Todos los bancos que utilicen el mismo sistema se benefician de los datos de transacciones de los demás, sin exponer sus datos en bruto ni los de sus clientes, a sus competidores.

Implementa Industria 4,0 sin exponer datos sensibles

Las empresas que prestan servicios de operaciones y mantenimiento a clientes por todo el mundo pueden sacar ventajas del Aprendizaje Federado y la Privacidad Diferencial al aprender de todos los datos de equipamiento disponibles, sin exponer datos sensibles de sus clientes. A través de la colaboración anónima, plantas, máquinas, y fábricas de cada tamaño pueden operar de forma más eficiente e inteligente, mientras los datos privados se mantienen protegidos.

Avanza en la investigación usando un framework privado

Universidades e instituciones de investigación pueden usar el Aprendizaje Federado para combinar sus esfuerzos de forma anónima, avanzar en su investigación y amplificar sus descubrimientos, mientras aseguran que sus datos siguen siendo privados, gracias a un Framework Federado.

Entrena modelos de vigilancia automatizada y asegura la anonimidad

Los modelos de Machine Learning de sistemas de vigilancia automatizada se pueden entrenar empleando modelos de varios establecimientos y su equipamiento e información de seguridad respectivo, sin acceder a las imágenes ni los datos de vigilancia. El uso de esta tecnología asegura la anonimidad y la privacidad, mientras ofrece una manera de aumentar las medidas de seguridad y protección, utilizando técnicas de Inteligencia Artificial.

Facilita Edge Computing y entrena modelos al orígen de los datos

El desarrollo avanzado de dispositivos con capacidades computacionales que se siguen aumentando, como los móviles y dispositivos IoT, ha hecho surgir la oportunidad de aprender de modelos complejos y descentralizar a los datos, mediante el Edge Computing. EL Aprendizaje Federado ayuda a mejorar los modelos de Machine Learning en los dispositivos distribuidos al compartir información global entre nodos, mientras asegura que los datos se mantienen privados en cada dispositivo.

Es el framework más potente del mercado que respeta la privacidad de los usuarios, basado en tecnología de vanguardia de Aprendizaje Federado.
FRANCISCO HERRERA, PH.D.
Catedrático de Informática e IA de la Universidad de Granada; Investigador Senior Asociado en Deep Learning y Machine Learning en Sherpa.ai
Doctorado en Matemáticas
Investigador Altamente Citado (Thomson Reuters) en los ámbitos de Ingenería e Informática
Premio Nacional de Informática de España
Más de 331 artículos de revista publicados que representan más de 85.240 citas en Google Scholar.

Competitive Benchmarking

Federated Learning and Differential Privacy Features
Federated Learning Framework
Use Federated Models with different datasets
Support other libraries
Sampling Enviroment: IID or Non-IID data distribution
Federated Aggregation Mechanisms
Federated Attack Simulation
Differential Privacy
Mechanisms: Exponential, Laplacian, Gaussian
Sensitivity Sampler
Subsampling methods to increase privacy
Adaptive Differential Privacy
Desired Properties
Documentation & Tutorials
High-level API
Ability to extend the framework with new properties

Complete
Partial
Not available
Not specified