Developers

Inteligencia Artificial de Privacidad

Overview

Sherpa.ai Federated Learning and Differential Privacy Framework: Protege la privacidad de tus usuarios sin renunciar al potencial de la Inteligencia Artificial

Sherpa.ai Federated Learning and Differential Privacy Framework es un framework de código abierto para Machine Learning que permite el aprendizaje colaborativo, sin compartir datos privados. Ha sido desarrollado para facilitar la investigación y experimentación abierta en el Aprendizaje Federado y la Privacidad Diferencial. El Aprendizaje Federado es un paradigma de Machine Learning dirigido al aprendizaje de modelos de datos descentralizados, como los datos ubicados en los teléfonos inteligentes de los usuarios, en hospitales, o en bancos, y que asegura la privacidad de los datos. Esto se consigue entrenando el modelo localmente en cada nodo (por ejemplo, en cada teléfono inteligente, cada hospital o cada banco), compartiendo los parámetros actualizados del modelo (no los datos) y agregando de forma segura estos parámetros para construir un mejor modelo global. El Aprendizaje Federado se puede combinar con la Privacidad Diferencial para asegurar un nivel aún más alto de privacidad. La Privacidad Diferencial es una técnica estadística que se usa para agregar datos, y al mismo tiempo evitar que se filtren datos individuales. Esta técnica asegura que agentes maliciosos que intervengan en la comunicación de los parámetros locales no pueden rastrear la información hasta la fuente de los datos, lo cual añade otro nivel de seguridad.

Esta tecnología podría ser disruptiva en escenarios donde es obligatorio mantener la privacidad de los datos:

  • Cuando los datos contienen información confidencial: como el correo electrónico, recomendaciones personalizadas y salud, las aplicaciones deben proporcionar mecanismos de privacidad de datos para aprender de un conjunto de usuarios, mientras los datos sensibles permanecen en cada dispositivo del usuario.
  • Cuando los datos se encuentran en silos de datos: un fabricante de piezas de automoción, por ejemplo, puede ser reacio a revelar sus datos, pero se beneficiaría de modelos que aprenden de los datos de los demás, para mejorar la producción y la gestión de la cadena de suministro.
  • Debido a normativa relacionada con la privacidad de datos: por ejemplo, bancos y empresas de telecomunicaciones no pueden compartir registros individuales, pero se beneficiarían de modelos que aprenden de datos distribuidos en varias entidades.

Sherpa.ai se centra en democratizar el aprendizaje federado al proporcionar metodologías, secuencias y técnicas de evaluación específicamente diseñadas para el aprendizaje federado. Sherpa.ai Federated Learning Framework permite a los desarrolladores simular escenarios de aprendizaje con modelos, algoritmos y datos proporcionados por el framework, así como sus propios datos.

Ver en GitHub
import numpy as np
import tensorflow as tf
import shfl

from shfl.federated_government import FederatedGovernment

# Load data to use in simulation
database = shfl.data_base.Emnist()
train_data, train_labels, test_data, test_label = database.load_data()

# Deploy data over data nodes
iid_dist = shfl.data_distribution.IidDataDistribution(database)
federated_data, test_data, test_labels = iid_dist.get_federated_data(num_nodes=20,
                                                                     percent=10)

# Create function that builds a model
def model_builder():
    model = tf.keras.models.Sequential()
    model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
    model.add(tf.keras.layers.Dense(64, activation='relu'))
    model.add(tf.keras.layers.Dropout(0.1))
    model.add(tf.keras.layers.Dense(10, activation='softmax'))

    model.compile(optimizer="rmsprop",
                  loss="categorical_crossentropy",
                  metrics=["accuracy"])

    return shfl.model.DeepLearningModel(model)

# Choose aggregattor
aggregator = shfl.federated_aggregator.FedAvgAggregator()
fed_government = FederatedGovernment(model_builder, federated_data, aggregator)

# Run a few rounds of federated learning
fed_government.run_rounds(3, test_data, test_label)

Casos de uso

Mejora los diagnósticos y tratamientos usando datos seguros y privados de los pacientes

Los datos sensibles del sector salud están sujetos a regulaciones estrictas de protección de datos. Para poder aprender de la información sanitaria y compartir datos de pacientes de forma segura, el Aprendizaje Federado puede emplearse para que las instituciones médicas puedan asegurar la privacidad de los datos, a la vez que ofrecen los procesos, herramientas diagnósticas, y cuidados más avanzados posible.

Mantén los fondos seguros sin compartir datos de clientes

Bancos e instituciones financieras pueden usar el Aprendizaje Federado para identificar transacciones de blanqueo de dinero usando datos privados de transacciones para construir modelos más capaces. Todos los bancos que utilicen el mismo sistema se benefician de los datos de transacciones de los demás, sin exponer sus datos en bruto ni los de sus clientes, a sus competidores.

Implementa Industria 4,0 sin exponer datos sensibles

Las empresas que prestan servicios de operaciones y mantenimiento a clientes por todo el mundo pueden sacar ventajas del Aprendizaje Federado y la Privacidad Diferencial al aprender de todos los datos de equipamiento disponibles, sin exponer datos sensibles de sus clientes. A través de la colaboración anónima, plantas, máquinas, y fábricas de cada tamaño pueden operar de forma más eficiente e inteligente, mientras los datos privados se mantienen protegidos.

Avanza en la investigación usando un framework privado

Universidades e instituciones de investigación pueden usar el Aprendizaje Federado para combinar sus esfuerzos de forma anónima, avanzar en su investigación y amplificar sus descubrimientos, mientras aseguran que sus datos siguen siendo privados, gracias a un Framework Federado.

Entrena modelos de vigilancia automatizada y asegura la anonimidad

Los modelos de Machine Learning de sistemas de vigilancia automatizada se pueden entrenar empleando modelos de varios establecimientos y su equipamiento e información de seguridad respectivo, sin acceder a las imágenes ni los datos de vigilancia. El uso de esta tecnología asegura la anonimidad y la privacidad, mientras ofrece una manera de aumentar las medidas de seguridad y protección, utilizando técnicas de Inteligencia Artificial.

Facilita Edge Computing y entrena modelos al orígen de los datos

El desarrollo avanzado de dispositivos con capacidades computacionales que se siguen aumentando, como los móviles y dispositivos IoT, ha hecho surgir la oportunidad de aprender de modelos complejos y descentralizar a los datos, mediante el Edge Computing. EL Aprendizaje Federado ayuda a mejorar los modelos de Machine Learning en los dispositivos distribuidos al compartir información global entre nodos, mientras asegura que los datos se mantienen privados en cada dispositivo.

FRANCISCO HERRERA, PH.D.

Es el framework más potente del mercado que respeta la privacidad de los usuarios, basado en tecnología de vanguardia de Aprendizaje Federado.

FRANCISCO HERRERA, PH.D.

Catedrático de Informática e IA de la Universidad de Granada; Investigador Senior Asociado en Deep Learning y Machine Learning en Sherpa.ai

  • Doctorado en Matemáticas
  • Investigador Altamente Citado (Thomson Reuters) en los ámbitos de Ingenería e Informática
  • Premio Nacional de Informática de España
  • Más de 331 artículos de revista publicados que representan más de 85.240 citas en Google Scholar.



Competitive Benchmarking

Federated Learning and
Differential Privacy Features

Federated Learning Framework
Use Federated Models with different datasets
Support other libraries
Sampling Enviroment: IID or Non-IID data distribution
Federated Aggregation Mechanisms
Federated Attack Simulation

Differential Privacy
Mechanisms: Exponential, Laplacian, Gaussian
Sensitivity Sampler
Subsampling methods to increase privacy
Adaptive Differential Privacy

Desired Properties
Documentation & Tutorials
High-level API
Ability to extend the framework with new properties
  • Complete
  • Partial
  • Not available
  • Not specified

Provisions

  1. Definition of Confidential Information. Understood as any information disclosed by Sherpa, either in writing or orally, in the forms of samples, models, software or any other type of technical data, trade secrets, manufacturing processes or other (know-how) of Sherpa, whether it had been disclosed prior to the date of this Agreement or thereafter, including, but not limited to, information regarding business plans, products or services, financial provisions, patents, trademark, utility models and any other intellectual or industrial property rights and/or requests for them (whether they are registered or not), computer passwords and/or their source code, inventions, processes, designs, whether they are graphic designs or not, engineering, advertising or finance, which are identified, in writing, as confidential or exclusive or that could be considered as such by an average person, taking into account the circumstances The following information, technical data or knowhow shall not be considered Confidential Information where the information: (i) was known to the User prior to receiving any of the Confidential Information from the other and this circumstance can be accredited; (ii) has become publicly known, unless that circumstance takes place as a consequence of an act or failure to act of the User; (iii) was received by the User from a third party who is not required secrecy; (iv) Sherpa has given written permission to disclose.
  2. Obligation of confidentiality. The User agrees not to disclose, or permit to be disclosed any Sherpa Confidential Information to third parties and undertakes to take appropriate measures to ensure the secrecy of any Sherpa Confidential Information with the purpose that the same do not goes into public knowledge, nor fall into possession of unauthorized third parties. The above mentioned measures must adequate to the maximum diligence in a manner similar to the way the User protect its own confidential information of similar content, which cannot be inferior to the diligence of a reasonable businessman.
  3. Term of the obligation of confidentiality. The obligations assumed by the User under this agreement shall remain in force while the visits and meetings with Sherpa takes places, and after the termination of such activities, until the Confidential Information goes into public knowledge, only if this had happened by cause other than breach of this agreement by the User.
  4. Non-compliance with obligations. The User understands that the monetary damages that could develop from a breach of this agreement may not be a sufficient remedy, and therefore expressly agree that any present or future breach of the obligations contained in this agreement and, notwithstanding any other rights or remedies that could correspond, would be enough to encourage before the competent jurisdiction to adopt the necessary precautionary measures to remedy and/or prevent such failure, without having to prove that damage has been caused.
  5. Return information exchanged. The User agrees to return to Sherpa all documents containing Confidential Information which may have been supplied and all copies thereof, and permanently erase or destroy all Confidential Information or any part thereof stored in electronic files. For this purpose, for documents it is understood any storage devise containing data or information.
  6. Ownership of rights. This agreement does not grant the User license or property rights under any intellectual property of Sherpa, nor is any right granted to the User over the Sherpa Confidential Information, except as provided herein.
  7. Non-transferability. This agreement is a personal agreement between Sherpa and the User; it may not be transferred, in whole or part, without prior written consent of the other party.
  8. Applicable law and jurisdiction. This agreement shall be governed by Spanish law and shall be interpreted in accordance with them. The Parties to this agreement expressly submit to the exclusive jurisdiction of the Courts of Bilbao, renouncing any other jurisdiction that may correspond to the resolution of any dispute arising in relation to the implementation of this agreement. By accepting this message, the user accepts all the clauses contained in this agreement.