From Pixels to Actions: Human-level control through Deep Reinforcement Learning

Posted by Dharshan Kumaran and Demis Hassabis, Google DeepMind, London

Remember the classic videogame Breakout on the Atari 2600? When you first sat down to try it, you probably learned to play well pretty quickly, because you already knew how to bounce a ball off a wall in real life. You may have even worked up a strategy to maximise your overall score at the expense of more immediate rewards. But what if you didn’t possess that real-world knowledge — and only had the pixels on the screen, the control paddle in your hand, and the score to go on? How would you, or equally any intelligent agent faced with this situation, learn this task totally from scratch?

This is exactly the question that we set out to answer in our paper “Human-level control through deep reinforcement learning”, published in Nature this week. We demonstrate that a novel algorithm called a deep Q-network (DQN) is up to this challenge, excelling not only at Breakout but also a wide variety of classic videogames: everything from side-scrolling shooters (River Raid) to boxing (Boxing) and 3D car racing (Enduro). Strikingly, DQN was able to work straight “out of the box” across all these games – using the same network architecture and tuning parameters throughout and provided only with the raw screen pixels, set of available actions and game score as input.

The results: DQN outperformed previous machine learning methods in 43 of the 49 games. In fact, in more than half the games, it performed at more than 75% of the level of a professional human player. In certain games, DQN even came up with surprisingly far-sighted strategies that allowed it to achieve the maximum attainable score—for example, in Breakout, it learned to first dig a tunnel at one end of the brick wall so the ball could bounce around the back and knock out bricks from behind.

So how does it work? DQN incorporated several key features that for the first time enabled the power of Deep Neural Networks (DNN) to be combined in a scalable fashion with Reinforcement Learning (RL)—a machine learning framework that prescribes how agents should act in an environment in order to maximize future cumulative reward (e.g., a game score). Foremost among these was a neurobiologically inspired mechanism, termed “experience replay,” whereby during the learning phase DQN was trained on samples drawn from a pool of stored episodes—a process physically realized in a brain structure called the hippocampus through the ultra-fast reactivation of recent experiences during rest periods (e.g., sleep). Indeed, the incorporation of experience replay was critical to the success of DQN: disabling this function caused a severe deterioration in performance.

Comparison of the DQN agent with the best reinforcement learning methods in the literature. The performance of DQN is normalized with respect to a professional human games tester (100% level) and random play (0% level). Note that the normalized performance of DQN, expressed as a percentage, is calculated as: 100 X (DQN score – random play score)/(human score – random play score). Error bars indicate s.d. across the 30 evaluation episodes, starting with different initial conditions. Figure courtesy of Mnih et al. “Human-level control through deep reinforcement learning”, Nature 26 Feb. 2015.

This work offers the first demonstration of a general purpose learning agent that can be trained end-to-end to handle a wide variety of challenging tasks, taking in only raw pixels as inputs and transforming these into actions that can be executed in real-time. This kind of technology should help us build more useful products—imagine if you could ask the Google app to complete any kind of complex task (“Okay Google, plan me a great backpacking trip through Europe!”).

We also hope this kind of domain general learning algorithm will give researchers new ways to make sense of complex large-scale data creating the potential for exciting discoveries in fields such as climate science, physics, medicine and genomics. And it may even help scientists better understand the process by which humans learn. After all, as the great physicist Richard Feynman famously said: “What I cannot create, I do not understand.”

Continua a leggere

Pubblicato in Senza categoria

MANTENIMIENTO DE PERSIANA

 
Cuando nos planteamos temas sobre el mantenimiento de persiana o sobre como limpiar las persianas, puede suceder  que nos encontremos con dificultades inherentes a este tipo de instalación que no sabemos bien como abordar. Es por ello que en este artículo analizaremos los problemas con los que nos encontraremos para su conservación y limpieza habitual, así como las soluciones que ofrecemos.

Para la limpieza habitual de las persianas por las caras externa e interna usaremos un limpiador multiusos del hogar que no sea agresivo con el material del que estén hechas las persianas o bien simplemente con agua y un jabón suave, secando posteriormente el exceso de agua con un paño. En el caso de que tuvieramos una mancha resistente procederíamos a tratar de eliminarla mediante el empleo de un producto más potente, como puede ser alcohol de quemar, aguarrás o algún producto más específico para el aluminio como el Aluclean o el Lacanet, poniendo una pequeña cantidad en un paño, frotando la zona a tratar y secando bien. Si el material de la persiana es aluminio lacado o plástico no hay que usar NUNCA disolvente, puesto que puede dañar la pintura o el plástico al ser un producto muy agresivo.

Para eliminar la dureza al bajar de la persiana y los ocasionales chirridos que pueda proferir por esta causa, procederemos por la forma más simple que es la de aplicar un poco de lubricante en las guías, de arriba a abajo, de forma que la zona de rozamiento quede bien lubricada. Es recomendable hacerlo cada cuatro meses, para alargar así la vida útil de nuestras persianas. Si se usa aceite para lubricar es mejor que sea en spray, ya que así evitaremos excesos innecesarios de lubricante. Otra alternativa es usar un lubricante a base de siliconas, que nos dará también buen resultado pero cuyo precio en el mercado es más alto. Desaconsejamos el empleo de grasa en la lubricación de las guías, puesto que la suciedad se adhiere a ella  con más facilidad que con las alternativas antes mencionadas.

En el caso de los elementos que nos permiten subir o bajar la persiana (ya sea cinta, torno o pulsadores), estos requieren menos cuidados , ya que suelen ser elementos robustos, pero no por ello debemos descuidarlos en exceso.

Si nuestra persiana es de cinta, el limpiar la suciedad de la misma puede ser algo problemático, puesto que por su propia naturaleza son un elemento que se toca muy a menudo, así que el que llegue a ensuciarse con el paso del tiempo es algo prácticamente inevitable. Por ello, si ha caído alguna mancha procederemos a limpiarla con un detergente no agresivo con la cinta, cepillando después con un cepillo suave, haciendo a ser posible antes una prueba en algún lugar no visible.

Si la persiana es de torno, la hermeticidad del cajón en el que va insertado el cable nos hace inviable el acceder a él para llevar a acabo un mantenimiento profundo, por lo que el mantenimiento se limitará a lubricar ligeramente la zona de rotación de la manivela para evitar su agarrotamiento y oxidación.

Para un buen mantenimiento además de lubrificar guias y soportes, repasaremos los elementos accesorios como el recogedor de la cinta, el rodillo pasacintas y los diversos elementos interiores del cajón de la persiana. Para sacar la tapa de registro en una persiana de aluminio con un tornavís plano pequeño saque la punta de la goma y tire de ella para sacarla. Con una ventosa agarre la tapa de aluminio y tire primero hacia un costado y luego hacia fuera. Sacando la tapa de persiana podrá comprobar el estado del eje y sus soportes, lubrificando también esas partes antes de volver a colocar la tapa de aluminio en la misma posición anterior. Comprobaremos el anclaje del eje y su desgaste, así como que no tenga demasiado “juego”. Comprobaremos también el desgaste de los soportes del eje así como los tirantes y flejes de la persiana. Cambiaremos todos los elementos desgastados o rotos evitando así reparaciones más costosas, aunque si no es un buen manitas o la reparación y sustitución de elementos es complicado será mejor siempre llamar a un profesional.

Si la persiana es eléctrica, revisar las conexiones y el cableado interior para que no obstaculice el paso de la persiana. Además en el caso del mando hemos de tener en cuenta el nivel de la pila para sustituirla en el momento en que se agote. 

Por último recordar que si su persiana es de pvc y le da asiduamente el sol (orientación norte) tiene tendencia a deteriorarse y agrietarse, rompiéndose la persiana por las lamas superiores. Por ello hay que vigilar este aspecto en las persianas de pvc y es recomendable cambiarlas por persianas de aluminio, más aislantes, ligeras, duraderas y resistentes.

Si quiere resolver sus dudas o para presupuestos o venta de recambios para carpinteria de aluminio, contacte con nosotros a través del formulario adjunto al inicio de este blog.

Continua a leggere

Pubblicato in Senza categoria

Check out Hot Toys "Avengers: Age of Ultron" 1/6th scale Hulk Deluxe Collectible Set (2 torsos)

Prepare to meet the big angry monster!

In the upcoming highly-anticipated Marvel’s Avengers: Age of Ultron, the Earth’s mightiest heroes are assembling again to defend the world from the dangerous and evil artificial intelligence Ultron who is bent on eradicating mankind and wiping out all life on the planet. To gear fans ready for this epic blockbuster, Hot Toys is thrilled to officially present today, the 1/6th scale Hulk Deluxe Collectible Set!

The movie-accurate collectible figure is specially crafted based on the image of Hulk in Marvel’s Avengers: Age of Ultron. This deluxe set specially features the two newly developed angry and screaming Hulk head sculpts with rolling eyeballs, a specially painted muscular body and a finely sculpted interchangeable “Hulk smash” pose upper body.

Fans of the angry green giant shouldn’t miss the chance to include this deluxe set to your Avengers: Age of Ultron collection!

Scroll down to see the rest of the pictures.
Click on them for bigger and better views.

Continua a leggere

Pubblicato in Senza categoria

The Amherst Cauldron

Finishing school for Nazis

[This is a guest post by Albert.]

We have been fortunate to be outside the United States for these past three months, and able to take our news unfogged by the media cabal. The parallel universe occupied by US news is especially poignant when viewing something like the situation in the Ukraine. Lately we have been watching a rebel counteroffensive that had surrounded and slowly exterminated the NATO puppet army in the Donbass region, around the railway hub at Debaltsevo, in a military maneuver called “the cauldron.” It was executed by volunteer foot-soldiers who, armed with small arms and trophy mortars and rockets, scored a massive victory against attacking battalions of Empire’s tanks and heavy artillery backed by NATO drones and AWACs.

Read more » Continua a leggere

Pubblicato in Senza categoria