Un nuevo método utiliza la óptica para acelerar los cálculos de aprendizaje automático en altavoces inteligentes y otros dispositivos conectados de bajo consumo
Por: Adam Zewé | MIT
Pida a un dispositivo doméstico inteligente el pronóstico del tiempo y el dispositivo tardará varios segundos en responder. Una de las razones por las que ocurre esta latencia es porque los dispositivos conectados no tienen suficiente memoria o energía para almacenar y ejecutar los enormes modelos de aprendizaje automático necesarios para que el dispositivo comprenda lo que el usuario le pide. El modelo se almacena en un centro de datos que puede estar a cientos de kilómetros de distancia, donde se calcula la respuesta y se envía al dispositivo.
Investigadores del MIT han creado un nuevo método para computar directamente en estos dispositivos, lo que reduce drásticamente esta latencia. Su técnica cambia los pasos intensivos en memoria de ejecutar un modelo de aprendizaje automático a un servidor central donde los componentes del modelo se codifican en ondas de luz.
Las ondas se transmiten a un dispositivo conectado mediante fibra óptica, lo que permite enviar toneladas de datos a la velocidad del rayo a través de una red. Luego, el receptor emplea un dispositivo óptico simple que realiza cálculos rápidamente utilizando las partes de un modelo transportado por esas ondas de luz.
Esta técnica conduce a una mejora de más de cien veces en la eficiencia energética en comparación con otros métodos. También podría mejorar la seguridad, ya que no es necesario transferir los datos de un usuario a una ubicación central para su cómputo.
Este método podría permitir que un automóvil autónomo tome decisiones en tiempo real mientras usa solo un pequeño porcentaje de la energía que actualmente requieren las computadoras que consumen mucha energía. También podría permitir a un usuario tener una conversación sin latencia con su dispositivo doméstico inteligente, ser utilizado para el procesamiento de video en vivo a través de redes celulares o incluso habilitar la clasificación de imágenes de alta velocidad en una nave espacial a millones de millas de la Tierra.
“Cada vez que desea ejecutar una red neuronal, debe ejecutar el programa, y la rapidez con la que puede ejecutar el programa depende de la rapidez con la que puede canalizar el programa desde la memoria. Nuestra tubería es enorme: corresponde a enviar una película completa a través de Internet cada milisegundo más o menos. Así de rápido entran los datos en nuestro sistema. Y puede computar tan rápido como eso”, dice el autor principal Dirk Englund, profesor asociado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) y miembro del Laboratorio de Investigación de Electrónica del MIT.
Junto a Englund en el artículo está el autor principal y estudiante graduado de EECS, Alexander Sludds; El estudiante graduado de EECS Saumil Bandyopadhyay, el científico investigador Ryan Hamerly, así como otros del MIT, el Laboratorio Lincoln del MIT y Nokia Corporation. La investigación se publica hoy en Science .
Aligerando la carga
Las redes neuronales son modelos de aprendizaje automático que utilizan capas de nodos conectados, o neuronas, para reconocer patrones en conjuntos de datos y realizar tareas, como clasificar imágenes o reconocer el habla. Pero estos modelos pueden contener miles de millones de parámetros de peso, que son valores numéricos que transforman los datos de entrada a medida que se procesan. Estos pesos deben almacenarse en la memoria. Al mismo tiempo, el proceso de transformación de datos implica miles de millones de cálculos algebraicos, que requieren una gran cantidad de energía para realizarlos.
El proceso de obtener datos (los pesos de la red neuronal, en este caso) de la memoria y moverlos a las partes de una computadora que realizan el cálculo real es uno de los mayores factores limitantes de la velocidad y la eficiencia energética, dice Sludds.
“Así que pensamos, ¿por qué no tomamos todo ese trabajo pesado, el proceso de obtener miles de millones de pesos de la memoria, lo alejamos del dispositivo de borde y lo colocamos en un lugar donde tengamos abundante acceso a la energía y la memoria, lo que da nosotros la capacidad de buscar esos pesos rápidamente? él dice.
La arquitectura de red neuronal que desarrollaron, Netcast, consiste en almacenar pesos en un servidor central que está conectado a una nueva pieza de hardware llamada transceptor inteligente. Este transceptor inteligente, un chip del tamaño de un pulgar que puede recibir y transmitir datos, utiliza tecnología conocida como fotónica de silicio para recuperar billones de pesos de la memoria cada segundo.
Recibe pesos como señales eléctricas y las imprime en ondas de luz. Dado que los datos de peso están codificados como bits (1 y 0), el transceptor los convierte cambiando los láseres; un láser se enciende para un 1 y se apaga para un 0. Combina estas ondas de luz y luego las transfiere periódicamente a través de una red de fibra óptica para que un dispositivo cliente no necesite consultar al servidor para recibirlas.
“La óptica es excelente porque hay muchas formas de transportar datos dentro de la óptica. Por ejemplo, puede poner datos en diferentes colores de luz, y eso permite un rendimiento de datos mucho mayor y un mayor ancho de banda que con la electrónica”, explica Bandyopadhyay.
Billones por segundo
Una vez que las ondas de luz llegan al dispositivo del cliente, un componente óptico simple conocido como modulador de banda ancha «Mach-Zehnder» las usa para realizar cálculos analógicos súper rápidos. Esto implica codificar los datos de entrada del dispositivo, como la información del sensor, en las pesas. Luego envía cada longitud de onda individual a un receptor que detecta la luz y mide el resultado del cálculo.
Los investigadores idearon una forma de usar este modulador para hacer trillones de multiplicaciones por segundo, lo que aumenta enormemente la velocidad de cálculo en el dispositivo mientras usa solo una pequeña cantidad de energía.
“Para hacer algo más rápido, necesitas hacerlo más eficiente energéticamente. Pero hay una compensación. Hemos construido un sistema que puede operar con alrededor de un milivatio de potencia pero aún así hacer trillones de multiplicaciones por segundo. En términos de velocidad y eficiencia energética, es una ganancia de varios órdenes de magnitud”, dice Sludds.
Probaron esta arquitectura enviando pesos a través de una fibra de 86 kilómetros que conecta su laboratorio con el Laboratorio Lincoln del MIT. Netcast permitió el aprendizaje automático con alta precisión (98,7 % para la clasificación de imágenes y 98,8 % para el reconocimiento de dígitos) a velocidades rápidas.
“Tuvimos que hacer algo de calibración, pero me sorprendió el poco trabajo que tuvimos que hacer para lograr una precisión tan alta desde el primer momento. Pudimos obtener una precisión comercialmente relevante”, agrega Hamerly.
En el futuro, los investigadores quieren iterar en el chip transceptor inteligente para lograr un rendimiento aún mejor. También quieren miniaturizar el receptor, que actualmente tiene el tamaño de una caja de zapatos, hasta el tamaño de un solo chip para que pueda caber en un dispositivo inteligente como un teléfono celular.
«El uso de la fotónica y la luz como plataforma para la computación es un área de investigación realmente emocionante con implicaciones potencialmente enormes en la velocidad y la eficiencia de nuestro panorama de tecnología de la información», dice Euan Allen, miembro de investigación de la Royal Academy of Engineering en la Universidad de Bath. que no participó en este trabajo. “El trabajo de Sludds et al. es un paso emocionante para ver implementaciones en el mundo real de tales dispositivos, introduciendo un nuevo y práctico esquema de computación de borde mientras explora algunas de las limitaciones fundamentales de la computación a niveles de luz muy bajos (de un solo fotón)”.
