Attention Is All You Need

Carta Poco común · N.º 82921

Attention Is All You Need (en español como "La atención es Todo lo que Necesitas" ) ​es un artículo de investigación histórico de 2017 ​ ​sobre aprendizaje automático escrito por ocho científicos que trabajan en Google . El artículo presentó una nueva arquitectura de aprendizaje profundo conocida como transformador, basada en el mecanismo de atención propuesto en 2014 por Bahdanau. ​ Se considera un artículo fundamental ​ en la inteligencia artificial moderna y un contribuyente principal al auge de la Inteligencia artificial, ya que el enfoque del transformador se ha convertido en la arquitectura principal de una amplia variedad de IA, como los modelos de lenguaje grandes .​ ​ En ese momento, el foco de la investigación estaba en mejorar las técnicas Seq2seq para la traducción automática, pero los autores van más allá en el artículo, previendo el potencial de la técnica para otras tareas como responder preguntas y lo que ahora se conoce como Inteligencia artificial generativa.​ El título…

Leer en Wikipedia · Imagen Yuening Jia, CC BY-SA 3.0