「理論・基礎」の記事一覧

分散表現とベクトル埋め込みの原理 ― 「共起」が意味を生む仕組み
私たちは「言葉の意味」をどのように理解しているのだろうか。「犬」という単語を見れば、頭の中には「散…
  • AI/LLM
  • 理論・基礎
モデルの「理解」や「意味」の仮説（確率的言語モデル論）
生成AIが返す言葉は、私たちが思う「理解」と同じではありません。大規模言語モデル（LLM）は、膨大なデー…
  • AI/LLM
  • 理論・基礎
RAG（Retrieval-Augmented Generation）の構造
深夜のラーメン屋「地獄の寸胴」で交わされた“記憶を煮出す”という比喩は、RAG（Retrieval-Augmented Gene…
  • AI/LLM
  • 理論・基礎
事前学習とファインチューニングの違い
AIの学習は、一度きりの“教育”では終わりません。まずモデルは、膨大なテキストから世界の言語的パターン…
  • AI/LLM
  • 理論・基礎
Attention機構と自己回帰生成
AIが「どこを見るか」を選ぶ瞬間、世界は姿を変えます――Attention（注意）機構は、膨大な情報の中から焦点…
  • AI/LLM
  • 理論・基礎
埋め込み（Embedding）とベクトル空間の原理
「埋め込み（Embedding）」とは、言葉や概念といった曖昧な存在を、多次元空間上の数値として“座標化”する…
  • AI/LLM
  • 理論・基礎
Transformerとは何か？
2017年の登場以来、Transformerは生成AIの中枢として言語処理の常識を一変させてきました。単語を一列に処…
  • AI/LLM
  • 理論・基礎