Home / Technology / Cómo la dispersión y la cuantificación crean una IA más ágil

Cómo la dispersión y la cuantificación crean una IA más ágil

La inteligencia artificial (IA) y el aprendizaje automático (ML) rara vez están fuera de las noticias. Los proveedores de tecnología están ocupados luchando por hacerse un hueco en el mercado de AI-ML, todos ansiosos por explicar cómo su enfoque de la automatización puede acelerar todo, desde el mantenimiento predictivo de las máquinas industriales hasta saber qué día es más probable que los consumidores pidan salchichas. pedidos.

Gran parte del debate en torno a la IA en sí se refiere a las herramientas de software resultantes que los proveedores de tecnología llevan al mercado. Queremos saber más sobre cómo funcionan las funciones de IA ‘explicables’ y qué pueden hacer estos avances por nosotros. Una parte clave de esta explicabilidad se centra en el sesgo de la IA y la necesidad de garantizar que el pensamiento humano inconsciente (o quizás semiconsciente) no esté programado en los sistemas que estamos creando.

Un proceso que consume mucha energía

Algunos de los avances en IA y ML se han visto obstaculizados por el proceso de entrenamiento y despliegue de los motores de IA que funcionan con estos modelos, que consume mucha energía. Esto ha llevado a algunas organizaciones a repensar cómo potencian sus plataformas, y organizaciones como AWS han hecho de todo el entorno de IA en la nube un ejercicio emblemático por derecho propio.

Los analistas de la industria no son optimistas sobre las perspectivas aquí; muchos piensan que con cada nuevo avance en el hardware de IA se produce un aumento exponencial de la energía necesaria para entrenar y operar la IA, lo que aumenta el impacto medioambiental.

El cofundador y CTO de DeepMind, con sede en Tel Aviv, es Dr. Eli David. Como pionero de la investigación de estilo propio en aprendizaje profundo y redes neuronales, David ha centrado su trabajo en promover el aprendizaje profundo a través de software complementario.

Creó DeepCube, un acelerador de inferencias basado en software que se puede implementar sobre el hardware existente para reestructurar los modelos de aprendizaje profundo a lo largo de su fase de capacitación. Los primeros resultados mostraron una disminución de 10 veces en el tamaño del modelo, lo que disminuye de manera crítica la potencia informática necesaria para ejecutar el modelo en entornos del mundo real.

La esparcimiento borra los patrones neuronales del cerebro

El Dr. David y el equipo dicen que, específicamente, la tecnología patentada de DeepCube imita el cerebro humano, que se somete a poda durante su período de entrenamiento inicial, aunque es más susceptible a la dispersión, literalmente el acto de hacer algo más escaso.

“Al igual que en las primeras etapas del desarrollo del cerebro humano, nuestro modelo de aprendizaje profundo experimenta una ingesta masiva de datos en sus primeras etapas. Pero a medida que se lleva a cabo el entrenamiento, las conexiones neuronales se fortalecen con cada acción aprendida y se adaptan para apoyar el aprendizaje continuo. más fuertes, se crean redundancias y se pueden eliminar las conexiones superpuestas. Por eso es necesario reestructurar y dispersar continuamente los modelos de aprendizaje profundo durante el tiempo de entrenamiento (no después de completar el entrenamiento) ”, dijo David.

Después de la etapa de entrenamiento de IA, el equipo de ingeniería de software de DeepMind señala que el modelo de IA ha perdido una cantidad significativa de su ‘plasticidad’. Esto significa que las conexiones neuronales no pueden adaptarse para asumir responsabilidades adicionales, lo que a su vez significa que la eliminación de conexiones puede resultar en una menor precisión.

DeepCube está realizando una ‘poda optimizada’ en los modelos de IA para provocar la dispersión de modo que realice un cálculo y una huella de energía mínimos. Durante el entrenamiento, el hardware que ejecutará el modelo se imprime como parte del proceso de entrenamiento para garantizar que la optimización no sea ingenua y genérica, sino específica y optimizada. Al realizar este proceso, se utilizan presupuestos mínimos de energía y energía para cada carga de trabajo de ML.

La poda prudente proporciona una potencia de IA más vigorosa

“Los métodos actuales, en los que se intenta acortar la fase posterior al entrenamiento del modelo de aprendizaje profundo, han tenido cierto éxito. Sin embargo, si se poda en las primeras etapas del entrenamiento, cuando el modelo es más receptivo a la reestructuración y adaptación, se pueden mejorar drásticamente los resultados. Cuando escasea durante el entrenamiento, las conexiones todavía están en la etapa de aprendizaje rápido y se pueden entrenar para asumir las funciones de las conexiones eliminadas “, dijo David.

El equipo de DeepCube dice que ahora está trabajando para construir más IA, monitoreando continuamente el progreso de la poda para mitigar cualquier daño a la precisión de salida mientras el modelo está en su máxima plasticidad.

Por lo tanto, el modelo de IA resultante puede ser liviano con una mejora significativa de la velocidad y reducción de la memoria, lo que podría permitir una implementación eficiente en dispositivos inteligentes de alta gama (por ejemplo, dispositivos móviles, drones, maquinaria agrícola, mantenimiento preventivo y similares). David y el equipo insisten en que este enfoque puede ser fundamental en términos de hacer que los dispositivos sean inteligentes, al tiempo que reduce su impacto ambiental y permite que las máquinas tomen decisiones verdaderamente autónomas sin elevar la temperatura del planeta.

Al disminuir el tamaño del modelo en un 85-90% en promedio y aumentar la velocidad en 10 veces, este uso de la dispersión permite que los modelos de IA se ejecuten con menos consumo de energía y, al menos en teoría, con menos impacto ambiental. Este enfoque también permite implementar más inteligencia artificial en un espacio informático físico más pequeño, por lo que cuando los dispositivos de Internet de las cosas (IoT) de ‘gama alta’ deben poder funcionar con inteligencia adicional, esta es una buena noticia.

El director ejecutivo de LGN, Daniel Warner, una empresa de inteligencia artificial centrada en el borde, es comprensiblemente optimista sobre la necesidad de que la inteligencia artificial del dispositivo IoT pueda tomar decisiones rápidas con mayor rapidez y precisión. Piense en un automóvil conduciendo por una autopista, dice que no tiene tiempo para conectarse a un centro de datos antes de decidir si frenar o no.

“La dispersión y la simplificación de modelos son esenciales para este proceso de dos maneras. En primer lugar, crea modelos más pequeños que pueden ejecutarse en dispositivos de gama alta que naturalmente tienen una potencia informática limitada, a diferencia de las máquinas grandes y potentes en la nube. En segundo lugar, permite modelos para tomar decisiones más rápido, ahorrando valiosos milisegundos exactamente del tipo de decisiones urgentes que están tratando de tomar. En el caso de la conducción autónoma, esos milisegundos equivalen directamente a seguridad y salvaron vidas “, dijo Warner de LGN.

Esparsificación más cuantificación

El cofundador y director de producto del especialista en modelos de aprendizaje automático OctoML es Jason Knight. Él está de acuerdo en que el rendimiento y el tamaño son especialmente importantes en el borde de la computación, donde aprovechar la escasez (a través de la dispersión) junto con la cuantificación puede reducir los costos de la lista de materiales para un sistema en un chip (SoC) hasta en una quinta parte.

La cuantificación, para el registro, en matemáticas y procesamiento de señales digitales es el proceso de mapear valores de entrada de un conjunto grande (generalmente un conjunto continuo) a valores de salida en un conjunto más pequeño (contable). Para Knight y su equipo, el rendimiento y el tamaño del modelo son dos grandes obstáculos para implementar el modelo en la nube y en el borde … y la dispersión y la cuantificación pueden ayudar.

“La poda de la red para aumentar la dispersión es una forma poderosa de reducir el tamaño del modelo y, junto con el compilador y el motor de cálculo adecuados, hemos visto importantes mejoras de rendimiento en las cargas de trabajo de un extremo a otro”, dijo Knight de OctoML. “La cuantificación ayuda a transformar los modelos de aprendizaje profundo para usar parámetros y cálculos con menor precisión y es una técnica que va bien con la poda para reducir el tamaño y aumentar el rendimiento. Reducir números de coma flotante de 32 bits a números enteros de 8 bits e incluso hasta Las operaciones de un solo bit permiten otra ronda de ahorros significativos “.

Toda esta discusión apunta a una tecnología de nivel de sustrato más bajo que muchos de nosotros tal vez no consideremos de inmediato como el problema principal o principal en la IA actual. Pero como hemos visto tantas veces antes, a veces es el “elemento ingrediente” lo que hace que cualquier producto o servicio sea lo que realmente es. Después de todo, la revolución de la PC dependía de la velocidad del microprocesador y los refrescos dietéticos solo existen gracias a NutraSweet, ¿verdad? DeepCube fue realmente adquirido por Additively Manufactured Electronics (AME) Nano Dimension durante la preparación de esta revisión. La dispersión y la cuantificación pueden ser donde esté el dinero inteligente para el próximo capítulo en IA.

About admin

Check Also

Con calificaciones * Resultados de segundo año intermedio AP en 2021 Nombre y conocimiento universitario

Con Marks * AP Intermediate, los resultados del segundo año 2021 se pueden verificar en …

Leave a Reply

Your email address will not be published. Required fields are marked *