Lea todos los avances más importantes en tecnología de inteligencia artificial en 2018 en un artículo: la PNL ha cruzado la línea divisoria y los resultados de la investigación sobre CV son sorprendentes

Producido por Qubits | Cuenta pública QbitAI

2018 sigue siendo un año emocionante en el campo de la IA.

Este año se ha convertido en un hito en la investigación de PNL, con varios avances uno tras otro; el campo del CV también es emocionante, y las caras falsas generadas por GAN son tan realistas en comparación con las nuevas herramientas de hace cuatro años; , La aparición de nuevos marcos también hace que el mañana en este campo sea particularmente emocionante... Recientemente, Analytics Vidhya publicó un resumen de la tecnología de inteligencia artificial de 2018 y un informe de pronóstico de tendencias de 2019, cuyo autor original PRANAV DAR. Qubits ha reeditado y complementado el contenido manteniendo la estructura de este informe. Este informe resume y clasifica los principales avances en los principales campos de la tecnología de IA a lo largo del año y también proporciona direcciones de recursos relevantes para un mejor uso y consulta. El informe *** consta de cinco partes principales:

A continuación, haremos un balance y esperaremos cada una de ellas, oye, alimenta al perro~

2018 tiene un estatus especial en la historia de la PNL. No hay duda al respecto.

Este informe considera que este año marca un antes y un después para la PNL. En 2018, ha habido avances continuos en el campo de la PNL: ULMFiT, ELMo, el recientemente popular BERT...

La transferencia de aprendizaje se ha convertido en una importante fuerza impulsora para el progreso de la PNL. Partir de un modelo previamente entrenado y adaptarse constantemente a nuevos datos aporta un potencial infinito. Incluso hay un dicho que dice que "ha llegado la era ImageNet en el campo de la PNL".

Fue este artículo el que inició la primera toma del carnaval de aprendizaje por transferencia de PNL de este año. Los dos autores del artículo son Jeremy Howard, fundador de Fast.ai, que tiene una rica experiencia en aprendizaje por transferencia; Sebastian Ruder, estudiante de doctorado en procesamiento del lenguaje natural, cuyo blog de PNL es leído por casi todos sus compañeros. La experiencia combinada de las dos personas dio como resultado ULMFiT. Si desea resolver una tarea de PNL, ya no necesita entrenar el modelo desde cero. Tome ULMFiT y ajústelo con una pequeña cantidad de datos, y podrá lograr un mejor rendimiento en la nueva tarea.

Su método superó los modelos de última generación anteriores en seis tareas de clasificación de texto. Para obtener instrucciones detalladas, puede leer su artículo: /google-research/bert. Si pertenece a PyTorch, no tenga miedo. Aquí también está el script de conversión y reimplementación de PyTorch recomendado oficialmente: /huggingface/pytorch-pretrained-BERT

Después de BERT, ¿qué sorpresas puede obtener el círculo de PNL en 2018? La respuesta es una nueva herramienta.

El fin de semana pasado, Facebook abrió PyText, el marco de modelado de PNL que sus propios ingenieros han estado utilizando. Este marco maneja más de mil millones de tareas de PNL para diversas aplicaciones de Facebook todos los días. Es un conjunto de herramientas de nivel industrial.

(El nuevo marco de PNL de código abierto de Facebook: simplifica el proceso de implementación y está bien para aplicaciones a gran escala)

PyText se basa en PyTorch, que puede acelerar el progreso desde la investigación hasta aplicación, y desde la investigación del modelo hasta su implementación completa solo toma unos días. El marco también contiene algunos modelos previamente entrenados, que se pueden utilizar directamente para manejar tareas como la clasificación de texto y el etiquetado de secuencias.

¿Quieres probarlo? La dirección de código abierto está aquí:

/facebookresearch/pytext

Puede tomar la iniciativa de llamar a peluqueros y restaurantes para hacer reservas y comunicarse sin problemas durante todo el proceso, lo cual es casi falso. .

El presidente de Google, John Hennessy, lo calificó más tarde como un "avance extraordinario" y dijo: "En el campo de las reservas, esta IA ha pasado la prueba de Turing". La capacidad de Duplex para comprender y sintetizar el habla en múltiples rondas de conversaciones era natural, todas son manifestaciones de El nivel actual de PNL. Si aún no has visto su vídeo…

¿Qué pasará con la PNL en 2019? Tomemos prestada la perspectiva del autor de ULMFiT, Sebastian Ruder:

En septiembre de este año, cuando apareció el artículo ICLR 2019 equipado con BigGAN para revisión doble ciego, los expertos se entusiasmaron: es imposible decir que esto es GAN. mismo.

En la historia de la investigación de imágenes por computadora, el efecto de BigGAN es mucho mejor que el de sus predecesores. Por ejemplo, después de entrenar en ImageNet con una resolución de 128 × 128, su puntuación Inception Score (IS) es 166,3, que es 3 veces la mejor puntuación anterior de 52,52 puntos.

Además de manejar imágenes pequeñas de 128 × 128, BigGAN también se puede entrenar directamente en datos ImageNet de 256 × 256 y 512 × 512 para generar muestras más convincentes.

En el artículo, los investigadores revelaron que detrás de los sorprendentes resultados de BigGAN, realmente cuesta dinero. Requiere hasta 512 TPU para el entrenamiento, y el costo puede alcanzar los 110 000 dólares estadounidenses, o 760 000 RMB.

El modelo no solo tiene muchos parámetros, sino que la escala de entrenamiento también es la más grande desde GAN. Sus parámetros son de 2 a 4 veces mayores que los de sus predecesores y el tamaño de su lote es 8 veces mayor que el de sus predecesores.

Trabajo de investigación: /NVIDIA/vid2vid

Direcciones relacionadas

Direcciones relacionadas