検索した用語に一致する記事が1個見つかりました。

1. コーパス - 用語辞典

【英】corpus
コーパスとは、日本語や英語などをはじめとした自然言語の文書を大量に集めたもののことである。 コーパスは、言語学や情報処理において自然言語処理の研究や機械学習の学習データとして利用される。単に文書を集めるだけではなく、品詞や統語構造などを付与してあるものは、特に「タグ付きコーパス」などと呼ばれる。また ...

検索した用語を含む記事が10個見つかりました。

1. コーパス - 用語辞典

コーパスとは、日本語や英語などをはじめとした自然言語の文書を大量に集めたもののことである。 コーパスは、言語学や情報処理において自然言語処理の研究や機械学習の学習データとして利用される。単に文書を集めるだけではなく、品詞や統語構造などを付与してあるものは、特に「タグ付きコーパス」などと呼ばれる。ま ...

2. タグ付きコーパス - 用語辞典

タグ付きコーパスとは、品詞や統語構造などを付与してあるコーパスのことである。 自然言語処理において、確率的な言語モデルに基づき機械学習などを使って統計的にコーパスを処理する場合には、品詞や統語構造が予めメタデータとして付与されている方が応用が利きやすい。品詞の他にも、固有表現抽出や属性抽出のための ...

3. 対訳コーパス - 用語辞典

対訳コーパスとは、言語学における研究や自然言語処理における機械翻訳の学習データとして利用するためなどに構築された、異なる言語の文と文が対訳の形でまとめられたコーパスのことである。 対訳コーパスは、機械翻訳における機械学習のための学習データとして利用される他、対訳コーパスの中で出現した単語と単語の共 ...

4. n-gram - 用語辞典

n-gramとは、任意の文書や文字列などにおける任意のn文字が連続した文字列のことである。 1文字続きのものはunigram、2文字続きのものはbigram、3文字続きのものはtrigram、と特に呼ばれ、4文字以上のものは、単に4-gram、5-gramと表現されることが多い。 また、n-gra ...

5. tf-idf - 用語辞典

tf-idfとは、情報探索やテキストマイニングなどの分野で利用される、文書中に出現した特定の単語がどのくらい特徴的であるかを識別するための指標のことである。 tf-idfの内、「tf(term frequency)」は、その文書の中で特定の単語が出現した回数を表し、「idf(inverse doc ...

6. コンコーダンス - 用語辞典

コンコーダンスとは、特定の作品や文献などにおいて用いられている全ての文字列(単語)に関して、その文字列が含まれているテキストや前後の文脈などといった位置情報に関する索引やメタデータのことである。 「concordance(コンコーダンス)」には、一般的な英単語としては「一致」「調和」などの意味があ ...

7. 共起 - 用語辞典

共起とは、自然言語処理の分野において、任意の文書や文において、ある文字列とある文字列が同時に出現することである。 例えば、選挙に関する話題の中では、「選挙」という言葉と「出馬」という言葉などは、同時に出現する場合が比較的多い。このとき、コーパス（膨大な量の言語資料）からコロケーションを抽出すること ...

8. 語義の曖昧性解消 - 用語辞典

語義の曖昧性解消とは、自然言語処理において、文書や発話などの中で出現した特定の単語やフレーズなどが、その文脈の中ではどのような意味で使われているのかを判別する技術、またはその処理のことである。 形態素解析や機械翻訳などをはじめとする自然言語処理では、至るところで語義の曖昧性解消が問題となる。語義の ...

9. ゼロ頻度問題 - 用語辞典

ゼロ頻度問題とは、n-gramモデルのような確率的言語モデルにおいて、ある単語の生起する確率を、学習データに利用したコーパス全体の中でその単語が出現した相対頻度によって推定すると、学習データ中に出現しなかった単語（組）の出現確率が0になってしまう問題のことである。 この時、ゼロ頻度問題を回避するた ...

10. 固有表現抽出 - 用語辞典

固有表現抽出とは、人名や地名などといった固有名詞や、日付、時間などに関する表現を、テキストから抜き出すこと、またはそのような手法を研究する自然言語処理における情報抽出の一分野のことである。 「固有表現」という概念や「固有表現抽出」という研究課題は、1990年頃アメリカ合衆国のDARPAが組織した評 ...