検索した用語に一致する記事が1個見つかりました。

1. 言語モデル - 用語辞典

読み方：げんごモデル
【英】Language model
言語モデルとは、自然言語処理などにおいて、文の品詞や統語構造、単語と単語、文書と文書などの関係性について定式化したもののことである。 言語モデルは、多くの場合は統計学的な観点から数式などを用いて確率的に定められる。代表的な言語モデルとしては、Nグラムモデル、隠れマルコフモデル、最大エントロピーモデル ...

検索した用語を含む記事が9個見つかりました。

1. 言語モデル - 用語辞典

言語モデルとは、自然言語処理などにおいて、文の品詞や統語構造、単語と単語、文書と文書などの関係性について定式化したもののことである。 言語モデルは、多くの場合は統計学的な観点から数式などを用いて確率的に定められる。代表的な言語モデルとしては、Nグラムモデル、隠れマルコフモデル、最大エントロピーモデ ...

2. 隠れマルコフモデル - 用語辞典

隠れマルコフモデルとは、IBMが考案した確率的な言語モデルの一つである。

3. n-gramモデル - 用語辞典

n-gramモデルとは、自然言語処理などにおける言語モデルのうち、n-gramを基礎にしたモデルのことである。クロード･シャノンによって考案された。

4. タグ付きコーパス - 用語辞典

タグ付きコーパスとは、品詞や統語構造などを付与してあるコーパスのことである。 自然言語処理において、確率的な言語モデルに基づき機械学習などを使って統計的にコーパスを処理する場合には、品詞や統語構造が予めメタデータとして付与されている方が応用が利きやすい。品詞の他にも、固有表現抽出や属性抽出のための ...

5. n-gram - 用語辞典

n-gramとは、任意の文書や文字列などにおける任意のn文字が連続した文字列のことである。 1文字続きのものはunigram、2文字続きのものはbigram、3文字続きのものはtrigram、と特に呼ばれ、4文字以上のものは、単に4-gram、5-gramと表現されることが多い。 また、n-gra ...

6. 共起 - 用語辞典

共起とは、自然言語処理の分野において、任意の文書や文において、ある文字列とある文字列が同時に出現することである。 例えば、選挙に関する話題の中では、「選挙」という言葉と「出馬」という言葉などは、同時に出現する場合が比較的多い。このとき、コーパス（膨大な量の言語資料）からコロケーションを抽出すること ...

7. 語義の曖昧性解消 - 用語辞典

語義の曖昧性解消とは、自然言語処理において、文書や発話などの中で出現した特定の単語やフレーズなどが、その文脈の中ではどのような意味で使われているのかを判別する技術、またはその処理のことである。 形態素解析や機械翻訳などをはじめとする自然言語処理では、至るところで語義の曖昧性解消が問題となる。語義の ...

8. Baidu Type - 用語辞典

Baidu Typeとは、検索エンジン「百度」（バイドゥ）の日本語版サービスを提供しているバイドゥ株式会社が発表した日本語入力システム（IME）の名称である。 Baidu Typeでは、大量のWebページなどをリソースとした統計的言語モデルを採用し、単語同士の共起の関係などを利用することによってよ ...

9. ゼロ頻度問題 - 用語辞典

ゼロ頻度問題とは、n-gramモデルのような確率的言語モデルにおいて、ある単語の生起する確率を、学習データに利用したコーパス全体の中でその単語が出現した相対頻度によって推定すると、学習データ中に出現しなかった単語（組）の出現確率が0になってしまう問題のことである。 この時、ゼロ頻度問題を回避するた ...