A Neural Network for Machine Translation, at Production Scale

Posted by Quoc V. Le & Mike Schuster, Research Scientists, Google Brain Team

Ten years ago, we announced the launch of Google Translate, together with the use of Phrase-Based Machine Translation as the key algorithm behind this service. Since then, rapid advances in machine intelligence have improved our speech recognition and image recognition capabilities, but improving machine translation remains a challenging goal.

Today we announce the Google Neural Machine Translation system (GNMT), which utilizes state-of-the-art training techniques to achieve the largest improvements to date for machine translation quality. Our full research results are described in a new technical report we are releasing today: “Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation” [1].

A few years ago we started using Recurrent Neural Networks (RNNs) to directly learn the mapping between an input sequence (e.g. a sentence in one language) to an output sequence (that same sentence in another language) [2]. Whereas Phrase-Based Machine Translation (PBMT) breaks an input sentence into words and phrases to be translated largely independently, Neural Machine Translation (NMT) considers the entire input sentence as a unit for translation.The advantage of this approach is that it requires fewer engineering design choices than previous Phrase-Based translation systems. When it first came out, NMT showed equivalent accuracy with existing Phrase-Based translation systems on modest-sized public benchmark data sets.

Since then, researchers have proposed many techniques to improve NMT, including work on handling rare words by mimicking an external alignment model [3], using attention to align input words and output words [4] and breaking words into smaller units to cope with rare words [5,6]. Despite these improvements, NMT wasn’t fast or accurate enough to be used in a production system, such as Google Translate. Our new paper [1] describes how we overcame the many challenges to make NMT work on very large data sets and built a system that is sufficiently fast and accurate enough to provide better translations for Google’s users and services.

Data from side-by-side evaluations, where human raters compare the quality of translations for a given source sentence. Scores range from 0 to 6, with 0 meaning “completely nonsense translation”, and 6 meaning “perfect translation.”

The following visualization shows the progression of GNMT as it translates a Chinese sentence to English. First, the network encodes the Chinese words as a list of vectors, where each vector represents the meaning of all words read so far (“Encoder”). Once the entire sentence is read, the decoder begins, generating the English sentence one word at a time (“Decoder”). To generate the translated word at each step, the decoder pays attention to a weighted distribution over the encoded Chinese vectors most relevant to generate the English word (“Attention”; the blue link transparency represents how much the decoder pays attention to an encoded word).

Using human-rated side-by-side comparison as a metric, the GNMT system produces translations that are vastly improved compared to the previous phrase-based production system. GNMT reduces translation errors by more than 55%-85% on several major language pairs measured on sampled sentences from Wikipedia and news websites with the help of bilingual human raters.

An example of a translation produced by our system for an input sentence sampled from a news site. Go here for more examples of translations for input sentences sampled randomly from news sites and books.

In addition to releasing this research paper today, we are announcing the launch of GNMT in production on a notoriously difficult language pair: Chinese to English. The Google Translate mobile and web apps are now using GNMT for 100% of machine translations from Chinese to English—about 18 million translations per day. The production deployment of GNMT was made possible by use of our publicly available machine learning toolkit TensorFlow and our Tensor Processing Units (TPUs), which provide sufficient computational power to deploy these powerful GNMT models while meeting the stringent latency requirements of the Google Translate product. Translating from Chinese to English is one of the more than 10,000 language pairs supported by Google Translate, and we will be working to roll out GNMT to many more of these over the coming months.

Machine translation is by no means solved. GNMT can still make significant errors that a human translator would never make, like dropping words and mistranslating proper names or rare terms, and translating sentences in isolation rather than considering the context of the paragraph or page. There is still a lot of work we can do to serve our users better. However, GNMT represents a significant milestone. We would like to celebrate it with the many researchers and engineers—both within Google and the wider community—who have contributed to this direction of research in the past few years.

We thank members of the Google Brain team and the Google Translate team for the help with the project. We thank Nikhil Thorat and the Big Picture team for the visualization.

[1] Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Technical Report, 2016.
[2] Sequence to Sequence Learning with Neural Networks, Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Advances in Neural Information Processing Systems, 2014.
[3] Addressing the rare word problem in neural machine translation, Minh-Thang Luong, Ilya Sutskever, Quoc V. Le, Oriol Vinyals, and Wojciech Zaremba. Proceedings of the 53th Annual Meeting of the Association for Computational Linguistics, 2015.
[4] Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio. International Conference on Learning Representations, 2015.
[5] Japanese and Korean voice search, Mike Schuster, and Kaisuke Nakajima. IEEE International Conference on Acoustics, Speech and Signal Processing, 2012.
[6] Neural Machine Translation of Rare Words with Subword Units, Rico Sennrich, Barry Haddow, Alexandra Birch. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

Continua a leggere

Pubblicato in Senza categoria

Check out Hot Toys Marvel Netflix 1/6th scale Charlie Cox Daredevil 12-inch collectible figure

Marvel’s Daredevil, the first of a wave of planned Netflix shows based on Marvel Comics characters, has raised the bar high for superhero adaptations on television. The dark, gritty drama has been a triumph with audiences and critics alike, thanks in no small part to its more down-to-earth portrayal of its protagonist, Matt Murdock, a blind man who fights crime as a lawyer by day and a masked vigilante by night. Armed with little more than his heightened senses and superb martial arts skills, the Man Without Fear is as vulnerable as he is awesome in his daring endeavors to uphold justice in the notorious Hell’s Kitchen neighborhood of New York City.

After two successful seasons, the acclaimed series is hailed as one of the very best on TV today, and fans will surely be filled with excitement now that Hot Toys is creating the 1/6th scale collectible figure for Daredevil!

The screen-accurate collectible figure is specially crafted based on the image of Charlie Cox as Matt Murdock / Daredevil in Season 2. It features a newly developed head sculpt with 2 interchangeable facial expressions, a meticulously tailored Daredevil suit, the Billy Club in extended and nunchaku modes, and a specially designed figure stand with character backdrop.

Scroll down to see the rest of the pictures.
Click on them for bigger and better view.

Hot Toys TMS003 Marvel’s Daredevil 1:6 scale DAREDEVIL Collectible Figure features: Authentic and detailed likeness of Charlie Cox as Daredevil in Marvel’s Daredevil season 2 | One (1) Daredevil helmeted head sculpt with two (2) interchangeable lower part of faces capturing Charlie Cox’s facial expressions (neutral and angry expression) | Movie-accurate facial expression with detailed wrinkles and skin texture | Approximately 30 cm tall Body with over 30 points of articulations | Six (6) pieces of interchangeable gloved hands including: One (1) pair of fists, One (1) pair of hands for holding Billy Club, One (1) pair of open hands

Costume: One (1) meticulously tailored Daredevil suit with detailed patterns and layers, One (1) thigh holster for Billy Club, One (1) pair of black boots

Weapons: One (1) pair of Billy Clubs, One (1) Billy Club in extended mode, One (1) Billy Club in nunchaku mode

Accessory: Specially designed diorama figure base with backdrop Daredevil nameplate, One (1) Daredevil-themed backdrop

Release date: Q2 – Q3, 2017

Continua a leggere

Pubblicato in Senza categoria

Frédéric Fiolof – La magie dans les villes

Littérature et hoquets de l’âme

Frédéric Fiolof – La magie dans les villes [Quidam, 2016]

Le quotidien est un matériau littéraire, on le sait. L’extraordinaire également, et l’un comme l’autre peuvent faire bon ménage, à condition de bien agiter. Si quotidien est un mot sur lequel on ne débattra pas, peut-être celui d’extraordinaire posera-t-il question. L’extraordinaire, quand il devient l’ordinaire du fait littéraire, perd sa qualité « d’extra », d’invité surprise au banquet du livre.

Il ne s’agit pas de prêcher pour la banalité ou le lieu commun, ennemis traditionnels du littérateur, mais de voir ce que le non romanesque – matériau triste de nos jours mais pas de nos lectures – aurait à nous offrir, sans se mettre pour autant à décrire une tomate pendant 50 pages. Une madeleine, tient, qu’on tremperait et dont le goût éveillerait en nous d’autres fragrances plus anciennes, etc. Mais tout le monde ne s’appelle pas Marcel et où que l’on se tourne, la balance ne penche pas du côté de chez Swann. Qu’importe, le velouté de poireaux à la table de la duchesse de Guermantes attendra.

Mais le quotidien, disions nous. Peut-être peut on y trouver, au cœur même de ce qu’il a de prévisible, la matière d’un enchantement. Le titre, beau et simple, du premier « roman » de Frédéric Fiolof est un indice : La magie dans les villes. Un titre certainement programmatique, où se lit une intention claire : dans « les villes » – pluriel généralisateur où toutes les villes sont la ville, toutes les rues sont la notre, aussi modiquement asphaltée, sale et bruyante que celle du voisin – quelque chose peut se lire sous la trame répétitive et sans surprise des jours.

La magie dont il est question – quand bien même on y croise une fée – est une affaire de regard. Le prisme qui permet de considérer sous un autre jour – plus juste parce qu’à priori plus artificiel – le passage du temps, et ce qui le compose, la famille (n’importe laquelle, qui n’a pas prétention à se faire l’étendard de quelques douteuses valeurs), le travail, la flânerie, les amis, les morts, la boulangère (« beau temps pour votre âge », commente-t-elle). Un regard, oui. Presque naïf, ou plutôt, ingénu : celui, pourrait-on dire sans intention péjorative, bien au contraire, du simple d’esprit. Un regard d’enfant. Ou comme le proposait l’auteur lui-même pendant la présentation de son livre l’autre jour dans une fort recommandable librairie parisienne : une littérature infantile pour adultes. Simple d’esprit non comme idiot, mais comme esprit simple : celui qui n’a pas perdu sa capacité d’étonnement ; celui qui sait encore accueillir l’impression – positive, négative ou plus incertaine – que le monde opère sur lui et en lui. Et qui simplement – difficile simplicité – trouve comment l’exprimer, c’est a dire sans se faire éblouir par le mensonge du style et ses ronflements amphigouriques. Les plaisirs, les déplaisirs, et les jours. Comme du Proust, mais en moins démonstratif. En plus modeste. Une modestie à la Walser – qu’on retrouve d’ailleurs, comment faire autrement, dans ce livre, perdu dans la neige – ou à la Felisberto Hernández, cet autre Proust, mais uruguayen et sans apprêts.

Ce regard est intrinsèquement lié à la délicatesse, à la fragilité. Le quotidien, que l’on considère en général d’abord sous l’angle morne de la routine – ce qui se répète et donc, dans un certain sens, perdure – ne serait-il pas plutôt le signe invincible de l’éphémère ? Dès lors, sa fugacité appelle l’étonnement, le regard écarquillé de celui qui saura en attraper un bout, vague et frémissant papillon dans son filet. L’auteur parle à un moment de « hoquet de l’âme » et il y a de ça : une sensation que l’on ne saurait préciser, mélancolique parce que fragile, pendouillant gracile ou pâteuse à notre finitude, et que l’on tentera de décrire en prenant un chemin d’écolier, en ravivant la flamme de la métaphore avec un lyrisme retenu, non dénué d’humour (synonyme comme souvent de cette mélancolie qui nous prend et nous contient).

On en revient à l’extraordinaire, l’âme hoquette et que voit elle entre deux soubresauts ? Un ange, mes amis, un ange qui n’apparaît que quand on tousse. Couplé à une fée sans le sou, ça nous fait un merveilleux tronqué. Mais à quoi prétendiez vous ? À la complétude ? Soyons sérieux. Le réel est une vibration douteuse et nous y nageons sans compteur Geiger. Fiolof construit sa perception (et nous invite à en suivre les méandres) par fragments. Bouts narratifs, contemplatifs ; scénettes au jour le jour où personne n’a de nom (à quoi bon), construites depuis la subjectivité d’un homme sans autres qualités qu’une candeur finement entretenue, comme un outil pour surfer les vagues (quand bien même, vues d’avion comme il ne manque pas de l’observer, elles semblent immobiles). Un type par ailleurs conventionnel (marié, travail, enfants), mais c’est bien là l’idée : pas de chercher une vaine identification du lecteur à force de points communs surlignés (ce personnage sans nom serait-il l’homme de la rue ? Oui, mais quelle rue ?), mais de créer une transparence par où passerait ce regard, pour que nous puissions pourquoi pas le faire notre depuis l’autre côté de la page. Mais il nous faudrait aiguiser notre regard, ne pas craindre les fantaisies qu’il pourrait nous susurrer à l’oreille, tandis que d’une brèche quelconque nous parvenons tout d’un coup à tirer d’insoupçonnées conclusions. Mais on lit peut-être aussi pour que quelqu’un nous fasse voir ce que nous voyons sans le voir.

« Il est l’enfant blême, le crétin crépusculaire », lit-on quelque part comme une définition possible du personnage de ce roman qui n’en est pas un mais sait pourtant comme personne romancer la réalité. Pas pour en faire une saga ou une comédie humaine, pas pour nous torturer de mauvaise psychologie, pas pour mettre une agréable couche de verni sur l’âpreté des jours, simplement pour laisser filtrer un peu de lumière sous la porte. C’est un livre mélancolique, on l’a dit – c’est pourquoi l’enfant est blême (il faut dire, hélas, qu’il n’en est plus vraiment un), c’est pourquoi le crétin est crépusculaire – parce qu’on aura beau faire passer le jour sous la porte, ce n’est jamais complètement suffisant.

Le personnage lit sur les lèvres de la réalité (il apprend d’ailleurs – de la bouche de sa femme – à le faire vraiment et pas seulement métaphoriquement). C’est un peu comme s’il cherchait par là à l’étendre ; il avoue d’ailleurs « avoir si peu de place pour de si longues histoires ». Si peu de place mais une petite centaine de pages où la grâce et la fantaisie touchent une corde que nous laissons parfois trop rouiller.

Continua a leggere

Pubblicato in Senza categoria