Return to Video

22-12 Lpcfg

  • 0:00 - 0:04
    では復習です
    まずは文脈自由文法からはじめましょう
  • 0:04 - 0:12
    形式のルールとして
    V→PV NP NPというものがあります
  • 0:12 - 0:17
    これがプログラミング言語で使われている
    文法でもあります
  • 0:17 - 0:23
    そして確率の考え方を加えて
    確率文脈自由文法を学びました
  • 0:23 - 0:28
    右側の式を括弧でくくりますが
    もう少し分りやすく考えてみましょう
  • 0:28 - 0:36
    左側がVPである時このルールの確率は
    いくつかということを考えます
  • 0:36 - 0:40
    確率は0.2としました
  • 0:40 - 0:48
    次のステップは語彙化です
    語彙化した確率文脈自由文法を見ていきましょう
  • 0:48 - 0:57
    語彙化した確率文脈自由文法では
    左側のカテゴリを使わず特定の単語を使います
  • 0:57 - 0:59
    その方法は複数あります
  • 0:59 - 1:08
    1つは動詞句が動詞に
    2つの名詞句が続く場合の確率です
  • 1:08 - 1:12
    何が実際の動詞かについて条件をつけましょう
  • 1:12 - 1:18
    動詞がgaveである場合
    比較的に高い確率にします
  • 1:18 - 1:22
    例えば“He gave me the money”は
    直接目的語と間接目的語を使う
  • 1:22 - 1:26
    一般的なgaveの用法です
  • 1:26 - 1:33
    確率は0.25くらいでしょう
    動詞をsaidにして同じルールで比べてみます
  • 1:33 - 1:38
    通常saidという動詞は1つの目的語を持ちます
  • 1:38 - 1:44
    例えば“He said something”から分かるように
    目的語を2つ持つことはありません
  • 1:44 - 1:51
    つまり“He said me something”や
    “I said me my piece”とはあまり言いません
  • 1:51 - 1:54
    そのためとても低い確率になります
  • 1:54 - 2:01
    ツリーバンクがあれば確率がどれくらい低いか
    分かりますが今は0.0001%としておきます
  • 2:01 - 2:07
    この確率にしましたが辞書を引くと言葉の意味や
  • 2:07 - 2:12
    動詞が他動詞か自動詞かが載っています
  • 2:12 - 2:19
    例えば動詞句が動詞だけで構成される確率は
    いくつでしょうか?
  • 2:19 - 2:24
    または動詞句が動詞に続く名詞句で
    構成される確率はいくつでしょうか?
  • 2:24 - 2:27
    quakeという単語で考えてみましょう
  • 2:28 - 2:33
    ここにただ数字を書くこともできますが
    辞書を引けばヒントを得られます
  • 2:33 - 2:38
    quakeは自動詞だと書いてあります
  • 2:38 - 2:43
    つまりこの確率はゼロになります
  • 2:43 - 2:50
    こちらの確率は高くなりそうですが
    実際にquakeが利用されているシーンを考えると
  • 2:50 - 2:53
    quakeは常に自動詞というわけではありません
  • 2:54 - 3:02
    Webでquakeを検索すると2万件の結果が出てきます
    すべてが有効な文章ではありません
  • 3:02 - 3:08
    非文章文脈つまり単語のリストで
    偶然一緒になった単語もあります
  • 3:08 - 3:14
    またquakeが他動詞的に使われている文章は
    何千も見つかります
  • 3:14 - 3:20
    従ってここはゼロではなく
    0.0001くらいでしょうか
  • 3:20 - 3:28
    しかし辞書では真か偽かのどちらかで
    論理的で正確な答えが示されます
  • 3:28 - 3:30
    示されているよりも言語は複雑です
  • 3:30 - 3:34
    語彙化された文法は
    必要なことをもっと示しています
  • 3:34 - 3:38
    まだtelescopeの問題は解決していませんね
  • 3:38 - 3:49
    解決のために名詞句に前置詞句が続いている場合の
    確率を考えてみましょう
  • 3:49 - 3:58
    また動詞に名詞句そして前置詞句が続く動詞句の
    確率は何でしょうか?
  • 3:58 - 4:01
    動詞の場合で検証してみましょう
  • 4:01 - 4:07
    動詞がsawで名詞句が主要語である場合を考えます
  • 4:07 - 4:16
    つまり主動詞がmanに対応し
    前置詞句がwithとtelescopeで構成される場合です
  • 4:16 - 4:27
    名詞句の主要語がmanで前置詞句が
    withとtelescopeである時の確率と比較しましょう
  • 4:27 - 4:32
    多くの条件があるので
    この確率は取得しづらいですね
  • 4:32 - 4:36
    右側に特定の単語が3つあります
  • 4:36 - 4:40
    推定するのは難しいのでバックオフするモデルが
    必要かもしれません
  • 4:40 - 4:50
    manという単語そのものではなく
    生きている人間を表すようなものです
  • 4:50 - 4:56
    以前のモデルを使ってスムージングと
    バックオフする方法を見てみましょう
  • 4:56 - 5:01
    一般的なケースで語彙化したモデルと同じように
    実行できます
  • 5:01 - 5:06
    確率に基づいて選択することがポイントです
  • 5:06 - 5:16
    モデルを見て分析しツリーバンクから得たデータを
    分析して確率を求めます
  • 5:16 - 5:23
    情報を集め正しい文章の解釈をして
  • 5:23 - 5:28
    曖昧性を解消し
    どれが確率の高い単語か見つけ出します
Title:
22-12 Lpcfg
Video Language:
English
Team:
Udacity
Project:
CS271 - Intro to Artificial Intelligence
Duration:
05:29

Japanese subtitles

Revisions Compare revisions