¿La nueva generación de aprendizaje automático? – No teek

Computadoras neuromórficas: inspirarse en la biología puede ayudar a superar las limitaciones de las arquitecturas informáticas modernas.

Ya hemos mencionado la computación neuromórfica en el artículo sobre hardware especializado para IA. El concepto de computadoras neuromórficas no es exactamente nuevo: de hecho, fue creado en los años 80 por C. Mead, luego «oficializado» en un artículo que luego se hizo famoso: Sistemas electrónicos neuromórficos.
En pocas palabras, una computadora neuromórfica es una computadora construida con una arquitectura capaz de simular el funcionamiento del cerebro. La razón por la que es necesario tomar este camino, así como por razones de simulación científica, es la de superar los límites intrínsecos de la arquitectura moderna, a los que nos acercamos rápidamente.

Limitaciones de las arquitecturas modernas

Hoy en día casi todas las computadoras funcionan generalmente según el Arquitectura von Neumann: CPU, uno o más dispositivos de memoria (RAM, Disco Duro, etc.) y un bus con varios canales.
En este tipo de arquitectura, los datos se transfieren constantemente de un lado a otro a través del bus desde la CPU a la memoria y viceversa. El flujo de datos es casi constante y se calcula con un reloj del sistema, que hoy en día es del orden de GHz, o mil millones de ciclos por segundo.

Este tipo de arquitectura, aunque tiene mucho éxito en los ordenadores actuales, tiene un punto débil, es decir, el cuello de botella que se crea entre la CPU y el dispositivo de almacenamiento, ya que operan a velocidades drásticamente diferentes. Este tipo de problema se mitiga de alguna manera, pero no se resuelve, mediante la implementación de mecanismos de almacenamiento en caché y maximizar la velocidad de transferencia del autobús. Otro problema es que la progresiva miniaturización, que hasta ahora seguía la ley de Moore, se está acercando a sus límites físicos. Estos límites son la razón por la que necesitaremos encontrar diferentes formas de seguir aumentando la potencia informática, algo que cada vez es más necesario. para entrenar las redes neuronales actuales.

Computadoras neuromórficas al rescate

El tipo de problemas enumerados son cada vez más urgentes en la era de la Grandes datos y de Aprendizaje profundo, con sus redes neuronales cada vez más amplias y complejas. Entonces, ¿qué debería hacer? Una posible manera sería ir con ellos. computadoras cuánticas (ya hablamos de ello en Guía del autoestopista sobre la computación cuántica.), que son prometedores, pero aún se encuentran en una etapa muy temprana y aún no están lo suficientemente maduros para soluciones de propósito general. Entonces, al final, la solución a estos problemas sólo puede ser inspirarse en la biología y construir sistemas artificiales que funcionen como el cerebro humano: Computadoras neuromórficas.

El procesamiento neuromórfico se basa en algunos puntos clave:

• Memoria y cálculo en el mismo lugar: ya no dos sistemas separados como en la arquitectura de Von Neumann, sino muchos «procesadores» simples (inspirados en neuronas).
• Paralelismo: las redes neuronales construidas sobre este principio están diseñadas para ser inherentemente capaces de realizar un paralelismo estricto.
• Amplia conectividad: como en el cerebro humano, los nodos están densamente conectados localmente (en la misma estructura), pero también a través de conexiones «largas» con nodos de otras estructuras.
• Procesamiento de picos: los distintos nodos se comunican a través de picos, inspirados en potenciales de acción biológicos.

Redes neuronales puntiagudas

Una característica crucial del procesamiento neuromórfico es el uso de redes neuronales de «picos», operativamente más similares a sus contrapartes biológicas. En las redes neuronales «tradicionales», como los perceptrones o las redes convolucionales, todas las neuronas de una capa determinada «disparan» juntas un valor real para cada ciclo de propagación. El valor de cada neurona depende de los valores recibidos en la entrada y de la activación de la función.
En cambio, en las redes de picos, las neuronas se activan (o no) en cada ciclo de propagación, y solo se activan cuando su activación excede un cierto umbral. En otras palabras, sigue la misma ley de «todo o nada» de los potenciales de acción biológicos.

Debido a esta ley, estas señales pueden considerarse con seguridad como digitales, donde podemos modular la frecuencia y el marco de tiempo con el que se emiten. Además, el desencadenante también depende de la naturaleza de las sinapsis (conexiones entre neuronas), que pueden ser excitadoras o inhibidoras. La ventaja de este tipo de redes está en ello. simplicidad computacional (las neuronas solo hacen sumas algebraicas simples).

Dicho esto, si bien el tipo de cálculo en estas redes es teóricamente sencillo, el problema es que puede resultar complejo implementarlo con arquitecturas tradicionales. De hecho, para representar correctamente la tendencia de las señales en el tiempo (frecuencia), sería necesario implementar ecuaciones diferenciales, cuya complejidad socava la ventaja inicial.

Sin embargo, con el uso de arquitecturas adecuadas, basadas en el uso de un memristor (un tipo de resistencia con memoria) podemos implementar circuitos que puedan simular efectivamente las sinapsis biológicas. Estas arquitecturas se pueden implementar con componentes que son relativamente baratos y con una fracción de la potencia requerida por sus contrapartes tradicionales.

Implementaciones notables

El desarrollo de la computación neuromórfica se está acelerando lentamente, incluso si la tecnología aún no está madura, y hace sólo dos años las inversiones ya habían superado los 400 millones de dólares en América del Norte y la Unión Europea (ver más abajo). A continuación se muestran algunas de las implementaciones más conocidas.

Proyecto Humano Humano

El proyecto Human Brain es un enorme proyecto de investigación que tiene como objetivo acelerar la investigación en el campo de la neurociencia. Una de las áreas del proyecto es «Silicon Brain», donde se han unido SpiNNaker (ver más abajo) y BrainScaleS (una arquitectura diseñada para simular la plasticidad de las conexiones neuronales).

Espinaquer

Basado en procesadores ARM, cada chip SpiNNaker tiene un procesador, un módulo de memoria SDRAM y un enrutador capaz de enviar mensajes de pico a los otros chips. Desde una perspectiva de software, el paradigma de programación de SpiNNaker es un modelo simple basado en eventos y el proyecto proporciona herramientas dedicadas. Las aplicaciones no controlan el flujo de ejecución, sino que sólo pueden indicar las funciones a realizar cuando ocurre un evento específico, como la llegada de un paquete o el tiempo transcurrido. El núcleo de la aplicación SpiNNaker SARK (SpiNNaker Application Runtime Kernel) monitorea el flujo de ejecución y programa/enruta las llamadas a funciones. El estado del arte está representado por el motor SpiNNaker, con más de 500k procesadores.

Norte verdadero

Esta arquitectura fue desarrollada en 2014 por IBM, como parte del programa SyNAPSE. TrueNorth, al igual que otras arquitecturas de este tipo, trabaja con redes neuronales que se suman. TrueNorth ha demostrado ser particularmente hábil en el campo de la visión por computadora, y el año pasado IBM anunció una colaboración con AirForce Research Lab para construir una matriz de 64 chips. La idea es aportar valor añadido en el ámbito de aplicaciones como los coches sin conductor, los satélites y los drones.

Móvil

La implementación de tecnologías de visión por ordenador no podía faltar en los smartphones, y son muchos los teléfonos de la más alta gama que ya llevan montados procesadores NPU (Neural Processing Unit). Los usos aún son limitados, pero el escenario puede cambiar rápidamente a medida que la tecnología esté disponible.
A partir de Android 8.1, el NN-API estará disponible, a través del cual los desarrolladores podrán acceder a la NPU sin conocer sus detalles arquitectónicos. Google también salió TensorFlow Liteque lo apoya plenamente.

Google Pixel 2XL monta a bordo Pixel Visual Core, desbloqueado sólo con Android 8.1, aunque actualmente sólo se utiliza para aplicaciones HDR+. Qualcomm ha implementado IA en sus Snapdragon 835 y 845 y trabajará junto con Baidu para mejorar el reconocimiento de voz.

Por supuesto, tampoco podían faltar a la fiesta Apple con su A11 y Huawei con Kyrin.
Como ya hemos comentado, actualmente los usos de estas NPU son bastante limitados, pero estamos en el principio y el sector está en auge.

Notas

Una frecuencia de reloj de 1 GHz equivale a una frecuencia de unos 10 ciclos por nanosegundo.

Esto a pesar de que las investigaciones continúan ampliando este límite físico, por ejemplo mediante nuevos inductores de grafeno o la explotación de efectos cuánticos en transistores.

La razón por la que este tipo de arquitectura aún no está muy extendida a pesar de que la idea tiene más de 40 años, se debe a la misma razón por la que el progreso de la inteligencia artificial se ha detenido por más de 20 años, después de las promesas iniciales, es decir, la tecnología. que aún no estaba listo. Hoy en día, con el renovado interés por la inteligencia artificial y la neurociencia, junto con la maduración tecnológica, las computadoras neuromórficas están volviendo a estar de moda.

Enlaces

Spiking Neural Networks, la próxima generación de aprendizaje automático
Los chips neuromórficos están destinados al aprendizaje profundo o a la oscuridad
La startup respaldada por Qualcomm ha anunciado una familia de procesadores de IA
Los investigadores crean transistores sinápticos de nanocables orgánicos que imitan los principios de funcionamiento de las sinapsis biológicas
Introducción a los conocimientos y desafíos de la computación neuromórfica (pdf)
¿Qué hacen realmente los procesadores creados para la IA?
La computación neuromórfica puede construir cerebros de máquinas similares a los humanos
Aprendizaje automático e inteligencia artificial: cómo los teléfonos inteligentes se vuelven aún más inteligentes
Chips neuromórficos: un camino hacia la IA a nivel humano
CHIP DE ORDENADOR NEUROFORMICO: LA PRÓXIMA EVOLUCIÓN EN INTELIGENCIA ARTIFICIAL
Sinapsis artificiales para chips neuromórficos
Un sistema neuromórfico no supervisado basado en memristores hacia una GAN rápida y energéticamente eficiente (pdf)
Clasificación de datos neuromórficos utilizando un marco de aprendizaje profundo para la clasificación de imágenes (pdf)
Procesadores neuromórficos de matriz de picos a gran escala: una búsqueda para imitar el cerebro (pdf)
Redes convolucionales para una computación neuromórfica rápida y energéticamente eficiente (pdf)

Proyectos

El proyecto del cerebro humano
EL PROYECTO CEREBRO AZUL – INICIATIVA SUIZA DEL CEREBRO
Iniciativa NEST: la iniciativa de tecnología de simulación neuronal
Gromacs Gromacs
STEPS: un motor estocástico para simulación de rutas
Proyecto NEURON – Nueva educación para comprender la investigación en neurociencia
Neuromem Smart: neuronas de hardware inspiradas en la biología

Andrea ha trabajado en TI durante casi 20 años, cubriendo todo, desde desarrollo hasta análisis de negocios y gestión de proyectos.
Hoy podemos decir que es un gnomo desenfadado, apasionado de las Neurociencias, la Inteligencia Artificial y la fotografía.