Improving Inception and Image Classification in TensorFlow

Posted by Alex Alemi, Software Engineer

Earlier this week, we announced the latest release of the TF-Slim library for TensorFlow, a lightweight package for defining, training and evaluating models, as well as checkpoints and model definitions for several competitive networks in the field of image classification.

In order to spur even further progress in the field, today we are happy to announce the release of Inception-ResNet-v2, a convolutional neural network (CNN) that achieves a new state of the art in terms of accuracy on the ILSVRC image classification benchmark. Inception-ResNet-v2 is a variation of our earlier Inception V3 model which borrows some ideas from Microsoft’s ResNet papers [1][2]. The full details of the model are in our arXiv preprint Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning.

Residual connections allow shortcuts in the model and have allowed researchers to successfully train even deeper neural networks, which have lead to even better performance. This has also enabled significant simplification of the Inception blocks. Just compare the model architectures in the figures below:

Schematic diagram of Inception V3
Schematic diagram of Inception-ResNet-v2

At the top of the second Inception-ResNet-v2 figure, you’ll see the full network expanded. Notice that this network is considerably deeper than the previous Inception V3. Below in the main figure is an easier to read version of the same network where the repeated residual blocks have been compressed. Here, notice that the inception blocks have been simplified, containing fewer parallel towers than the previous Inception V3.

The Inception-ResNet-v2 architecture is more accurate than previous state of the art models, as shown in the table below, which reports the Top-1 and Top-5 validation accuracies on the ILSVRC 2012 image classification benchmark based on a single crop of the image. Furthermore, this new model only requires roughly twice the memory and computation compared to Inception V3.


Model
Architecture

Checkpoint

Top-1 Accuracy

Top-5 Accuracy

Code
80.4 95.3

Code
78.0 93.9

Code
76.8 93.2

Code
TBA
79.9* 95.2*
(*): Results quoted in ResNet paper.

As an example, while both Inception V3 and Inception-ResNet-v2 models excel at identifying individual dog breeds, the new model does noticeably better. For instance, whereas the old model mistakenly reported Alaskan Malamute for the picture on the right, the new Inception-ResNet-v2 model correctly identifies the dog breeds in both images.

An Alaskan Malamute (left) and a Siberian Husky (right). Images from Wikipedia

In order to allow people to immediately begin experimenting, we are also releasing a pre-trained instance of the new Inception-ResNet-v2, as part of the TF-Slim Image Model Library.

We are excited to see what the community does with this improved model, following along as people adapt it and compare its performance on various tasks. Want to get started? See the accompanying instructions on how to train, evaluate or fine-tune a network.

As always, releasing the code was a team effort. Specific thanks are due to:

  • Model Architecture – Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, Alex Alemi
  • Systems Infrastructure – Jon Shlens, Benoit Steiner, Mark Sandler, and David Andersen
  • TensorFlow-Slim – Sergio Guadarrama and Nathan Silberman
  • Model Visualization – Fernanda Viégas and James Wexler

Continua a leggere

Pubblicato in Senza categoria

Sind Impfstoffe mit Aluminium wirklich sicher?

Immer wieder erscheinen Artikel, die sich der Sicherheit von aluminiumhaltigen Impfstoffen widmen. Etwa vom deutschen Paul Ehrlich Institut oder nun aktuell vom Allergologen und Kinderarzt Thomas Spindler, der sich weitgehend der Argumentation der Behörde angeschlossen hat. Beider Tenor: Es ist alles paletti, es gibt kein Problem! Da sich Dr. Spindler auf meine Arbeit bezieht (u.a. den Film “Die Akte Aluminium”) und mir vorwirft “durch mehr oder weniger sachliche Meldungen über die Gefahren von Aluminium in Impfstoffen Ärzte und Patienten zu verunsichern”, antworte ich ihm hier in einem offenen Brief. 
Sehr geehrter Herr Dr. Spindler,
ich nehme Bezug auf Ihre kürzlich veröffentlichte Übersichtsarbeit zur “Risikobewertung von Aluminium in Impfstoffen” 
Aus der Art und Weise, wie Sie Informationen sammeln, verkürzen und weitergeben, geht deutlich hervor, dass Sie selektiv jene Mitteilungen auswählen, welche keinerlei relevantes Risiko sehen und den Status Quo unverändert beibehalten wollen.
Ich mache Ihnen deshalb den Vorwurf, dass Sie mit dieser – in der Branche üblichen – Art der unkritischen Entwarnung dazu beizutragen, dass Behörden, Impfexperten und Wissenschaft weiterhin auf der faulen Haut liegen und dringend nötige Forschungsarbeiten zu offenen Fragen unbehandelt bleiben.
Dabei ergeben sich sogar aus Ihrer Zusammenstellung einige Punkte, die entweder unlogisch sind, oder zumindest Anlass zu eigenen Denkansätzen hätten geben können.
Beispielsweise diese:
• Sie erwähnen, dass laut europäischem Arzneibuch ein Grenzwert von 1,25 mg Aluminium pro Impfdosis festgelegt wurde. Warum erwähnen Sie das? Denken Sie, dass es sich dabei um einen Grenzwert handelt, der zur Sicherheit der Geimpften eingeführt wurde? An sich erschiene dies logisch. Zumindest fällt mir kein anderer vernünftiger Grund für die Festsetzung eines solchen Grenzwertes ein. Doch wenn dem so ist, so müsste gleichzeitig auch eine Begrenzung der Anzahl der Alu-haltigen Impfungen pro Arztbesuch angegeben werden – meinen Sie nicht? Derzeit ist es aber durchaus üblich, dass bei einem Arztbesuch zwei oder sogar drei solche Impfungen gleichzeitig gegeben werden.
Wenn nun die Babys die Sechsfachimpfung (Infanrix hexa) und eine Pneumokokkenimpfung (z.B. Synflorix) erhalten, so erhalten Sie bereits eine Aluminiumdosis über dem Grenzwert von 1,25 mg. Wenn dazu noch die Meningokokken-B Impfung Bexsero gegeben wird, wie von einigen Ärztegesellschaften empfohlen, so kommen Sie bereits auf eine Alu-Dosis von knapp 2 mg.
Ist Ihnen diese unlogische Art der Grenzwert-Regelung entgangen?
• Sie geben weiters die Stellungnahme des PEI wieder, wonach es laut Spontanerfassung von unerwünschten Arzneimittelwirkungen (UAW) kein Risikosignal aluminiumbedingter Toxizität nach Impfungen gäbe. Haben Sie sich mit der Methodik derartiger UAW-Erfassungen beschäftigt? – Wie sollte das Ihrer Meinung nach funktionieren, dass im Alltagsleben hier relevante Sicherheitssignale auffallen, wenn die große Mehrzahl der Kinder solche Impfungen erhält? Wenn es keinerlei gut durchgeführte Studien – z.B. mit einer Vergleichsgruppe von Kindern ohne Aluminium-Belastung gibt?
Nebenwirkungsmeldungen gibt es zur Genüge, wenn Sie sich z.B. die UAW Datenbank des PEI Instituts ansehen. Was macht Sie so sicher, dass diese Symptome in gleicher Häufigkeit auch in einer Gruppe von Kindern auftreten würden, die keine Alu-Impfstoffe erhält? Ihr Glaube ans Gute? Oder der Wunsch, dass nicht sein kann, was nicht sein darf?
Ihr Hinweis, dass es „keine guten wissenschaftlichen Studien oder Analysen“ gibt, welche eine Gefährung durch aluminiumhaltige Adjuvantien belegen, dreht den Spieß einfach um. Fordert also, dass anstelle eines Belegs der Sicherheit ein Beleg für das konkrete Risiko geliefert wird. Finden Sie das nicht allzu bequem? Laut Vorsorgeprinzip sollten eigentlich jene, die eine Therapie anbieten, umfassende Sicherheitsstudien vorlegen und nicht umgekehrt.
Verdachtsmomente, dass aluminiumhaltige Adjuvantien das Risiko z.B. auf die Entstehung von Autoimmunerkrankungen erhöhen, haben sich in den letzten Jahren jedenfalls in unzähligen Studien ergeben. (Siehe z.B. „Vaccines and Autoimmunity“ Hg. von Y. Shoenfeld et al.)
• Als letzten Punkt (neben zahlreichen anderen, die mir noch einfielen) möchte ich auf den von Ihnen angeführten Vergleich eingehen, dass die Alu-Dosis in Impfungen mengenmäßig von der über Lebensmittel, etc. aufgenommenen Menge an Aluminium weit übertroffen wird. Dass also – falls Aluminium überhaupt ein Risiko darstellt – Impfungen im Vergleich zur normalen Ernährung ein unbedeutendes Problem darstellen.
Wenn Sie diese Sichtweise teilen und verbreiten, so implizieren Sie, dass sich Aluminium, das oral aufgenommen wird, auf das Immunsystem gleich auswirkt, als solches, das injiziert wird.
Falls Sie das wirklich meinen, so könnten Sie ja mal den Seltbstversuch unternehmen, sich eine Wasser-Öl Emulsion (z.B. das komplette Freundsche Adjuvans) zu injizieren – und dieselbe Menge einem Studenten zu trinken geben. Ich denke, danach werden Sie die Gleichwertigkeit der oralen oder intramuskulären Applikation deutlich anders beurteilen.
Außerdem verfügt der Magen-Darm Trakt über ein evolutionär recht gut eingeübtes System zur Ausscheidung bzw. Durchleitung von Schadstoffen. Laut Studien verbleibt gerade mal höchstens ein Prozent der oral aufgenommenen Menge von Aluminium im Organismus. Bei der Injektion in den Muskel sind es hingegen zunächst mal 100 Prozent, welche in den Organismus gelangen. Wieviel davon – über welchen Zeitraum – ausgeschieden wird, ist bislang weitgehend unbekannt und unzureichend erforscht.
Warum tragen Sie mit Ihrer Arbeit wissentlich dazu bei, dieses Unwissen zu bewahren?
Aktuelle Publikation von Thomas Spindler (Allergologie, August 2016, S. 371-374) – PDF auf Wunsch 
Zum Abschluss noch eine Information zur Tätigkeit des „Al-ex Institut zur Wissensvermittlung im Umgang mit Aluminium“. Dort finden sich im Mitgliederbereich (Förderbeitrag 20 Euro pro Jahr) Listen mit den siliziumreichsten Mineralwässern, die in Supermärkten erhältlich sind. Den Gewinn aus dem Kauf der Mineralwässer streichen die Supermärkte bzw. die Herstellerfirmen ein. Das Al-ex Institut handelt weder mit Wasser noch werden Urintests angeboten wie Sie fälschlicherweise schreiben. Dass siliziumreiche Mineralwässer in der Lage sind, im Organismus vorhandenes Aluminium zu binden und über den Urin auszuscheiden, ist in der Literatur (siehe C. Exley et al.) hinreichend belegt,
freundliche Grüße,
Bert Ehgartner

Continua a leggere

Pubblicato in Senza categoria