[Narrator] Before diving into too much detail,
let me explain to you why MDPs really matter.
What you see here is a robotic tour guide
that the University of Bonn, with my assistance,
deployed in the German museum in Bonn,
and the objective of the this robot was to
navigate the museum and guide visitors,
mostly kids, from exhibit to exhibit.
This is a challenging planning problem because
as the robot moves
it can't really predict its action outcomes
because of the randomness of the environment
and the carpet and the wheels of the robot.
The robot is not able to really follow its own commands very well,
and it has to take this into consideration during the planning process
so when it finds itself in a location it didn't expect,
it knows what to do.
In the second video here, you see a successor robot
that was deployed in the Smithsonian National
Museum of American History in the late 1990s
where it guided many, many thousands of kids
through the entrance hall of the museum,
and once again, this is a challenging planning problem.
As you can see people are often in the way of the robot.
The robot has to take detours.
Now this one is particularly difficult because
there were obstacles that were invisible
like a downward staircase.
So this is a challenging localization problem
trying to find out where you are,
but that's for a later class.
In the video here, you see a robot being deployed in a nursing home
with the objective to assist elderly people
by guiding them around, bring them to appointments,
reminding them to take their medication, and
interacting with them, and this robot has been active for many, many years
and been used, and, again, it's a very challenging planning problem
to navigate through this elderly home.
And the final robot I'm showing you here.
This was built with my colleague Will Whittaker at Carnegie Melon University.
The objective here was to explore abandoned mines.
Pennsylvania and West Virginia
and other states are heavily mined.
There's many abandoned old coal mines,
and for many of these mines,
it's unknown what the conditions are and where exactly they are.
They're not really human accessible.
They tend to have roof fall and very low oxygen levels.
So we made a robot that went inside
and built maps of those mines.
All these problems have in common that they
have really challenging planning problems.
The environments are stochastic.
That is the outcome of actions are unknown,
and the robot has to be able to react to
all kinds of situations, even the ones that it didn't plan for.
詳細な解説に入る前に
マルコフ決定過程の重要性をお見せします
これはボン大学がボン・ドイツ博物館に配備した
ガイドロボットです
私も製作に協力しました
このロボットの目的は博物館を案内することで
主に子供の見学者を展示物へガイドすることです
これは難しいプランニング問題でした
なぜなら
カーペットやタイヤの性能により
環境にランダム性が生じるため
ロボットの動作の結果を
正しく予測できないからです
ロボットは自身の決定どおりに行動できないので
プランニング中に考慮する必要があります
その結果ロボットは予想外の場所にいても
行動を修正できるのです
次の映像は90年代後半に
国立アメリカ歴史博物館で
後継機のロボットが稼働している様子です
博物館のエントランスホールから
何千人もの子供たちを案内しました
これも難しいプランニング問題です
ご覧のようにロボットの進路上に人がいた場合
迂回しなければなりません
特に難しいのは下り階段などの
直接見えない障害の存在です
これは自身の現在位置を検知するという
難しい問題ですが
それに関してはまたあとでお話します
次の映像は老人ホームでロボットが
高齢者を介助している様子です
施設を案内したり診察に連れて行ったり
薬の時間を知らせたりして高齢者と交流します
このロボットは長年使われてきました
老人ホームを案内するのも
とても困難なプランニング問題です
最後のロボットはカーネギーメロン大学の
ウィル・ウィッテカーが作ったものです
このロボットの目的は廃坑の探査です
採掘が盛んだった
ペンシルバニアやウェストバージニア州などには
多くの炭鉱跡が残っています
そうした廃坑の位置や現在の状態は
よく分かっていません
天井が崩落する危険があり酸素濃度も低いため
人が立ち入ることはできません
私たちはロボットを製作して内部を探索させ
廃坑の地図を作りました
紹介した事例に共通しているのは
困難なプランニング問題を含んでいる点です
環境は確率論的であり行動の結果は不明です
さらにロボットは想定外のあらゆる状況に
対処しなければなりません
Прежде чем окунуться в детали,
позвольте мне объяснить почему MDP так важен.
На экране вы видите робота, который выполняет роль экскурсовода.
Робот с моей помощью был сделан в университете города Бонна
и доставлен в Немецкий музей Бонна.
Целью этого робота являлось - проводить
экскурсии с посетителями музея,
от экспоната к экспонату.
Это была очень сложная задача планирования, потому что
когда робот перемещается
он не может предположить результатов своего перемещения
из-за случайности среды,
ковра, по которому он движется, и колёс робота.
Робот, на самом деле, не всегда может следовать своим командам,
он должен учитывать это при планировании,
в случае если он оказывается в положении, котором он не ожидал оказаться,
он должен знать что делать.
На втором видео вы видите следующего робота,
который был поставлен в Смитсоновский Национальный
Музей Истории Америки в конце девяностых,
где он проводил большое количество детей
через входную дверь и холл музея,
и опять - это была одна из сложных задач планирования.
Как вы видите на видео, люди часто находятся на пути следования робота
Робот должен найти обходной путь.
А это особенно сложно, потому что
существуют невидимые припятствия,
к примеру лестницы, ведущие вниз.
Попытка определить, где вы находитесь,
также одна из сложнейших проблем,
об этом мы поговорим в следующем классе.
На этим видео, вы видите робота, который был сделан для дома престарелых,
с целью помогать пожилым людям,
провожать их к их комнатам,
напоминать о времени приёма лекарств,
взаимодействовать с ними, и этот робот использовался много лет,
при этом, как и предыдущие роботы, задача планирование
передвижение по дому престарелых была не из лёгких.
И в конце, я покажу вам робота, которого мы
построили с моим коллегой Уйилом Вайтекером в Карнеги Мелон Университете.
Целью этого робота было исследовать заброшенные шахты.
В Пенсильвании и Западной Вирджинии,
а также в других штатах есть много шахт.
Среди них многие заброшены,
при этом неизвестно в каком состоянии находится шахта
для большинства из них.
Человеку проникнуть в них почти невозможно.
В них ненадёжные крепления для потолков и низкий уровень кислорода.
Поэтому мы сделали робота, который проникал в шахты
и строил их карту.
Все перечисленные задачи похожи друг на друга
тем, что имеет сложную проблему планирования.
Среды, где работают роботы, стохастистические.
Результат действий не известен,
и роботы должны быть в состоянии реагировать на
любые виды ситуаций, даже если они не запланированы.