「詰め込み教育」ではだめ、「情報量を最大化する自発的な学習」が鍵

<plone.namedfile.file.NamedBlobImage object at 0x7fedf981c7b0 oid 0x6c2afd in <Connection at 7fee02c68ee0>>

2025-05-30

life_sciences_medicine

{'items': [{'key': 'dmu61', 'term': 'ビジョン・トランスフォーマー\u3000', 'description': {'blocks': [{'key': '9os14', 'text': 'Vision Transformer, ViT。2020年にDosovitsikiyらがトランスフォーマーのトークンに、画像の細片を入力して、画像の分類に転用したのがビジョン・トランスフォーマーの始まりである。オリジナルのトランスフォーマーにはないクラス・トークンと呼ばれるトークンが追加されていて、このクラス・トークンが画像全体の情報に注意を使ってアクセスして、重みづけして情報を統合する。2020年に発表されたViTでは、100万枚の画像を使って、あらかじめ各画像に付与された「ラベル」を出力するように、教師付き学習法（Supervised learning SL法）で訓練が行われた。', 'type': 'unstyled', 'depth': 0, 'inlineStyleRanges': [], 'entityRanges': [], 'data': {}}], 'entityMap': {}}}, {'key': '5a6no', 'term': 'DINO法\u3000', 'description': {'blocks': [{'key': '6q7ef', 'text': 'Distillation with No Label method, ラベルなし蒸留法。2021年にCaronらがViTの学習に導入した学習法。生徒と先生役を果たす2つの同じ構造のViTを準備して、生徒が先生を模倣しつつ、先生は生徒の履歴を複製コピーするという相互依存的な関係を持ちながら、画像から得られる情報量を最大化する学習を実現している。目が動いて網膜像が揺れても世界の情報が変わらないことを要求しつつ、世界から得られる情報量を最大化するという実用的な学習法である。', 'type': 'unstyled', 'depth': 0, 'inlineStyleRanges': [], 'entityRanges': [], 'data': {}}], 'entityMap': {}}}, {'key': 'bbq4c', 'term': '図地分離\u3000', 'description': {'blocks': [{'key': '945oh', 'text': '図地分離とは、視覚情報処理において、「注目すべき対象（図）とその背景（地）」とを区別して知覚する脳の基本的な働きを指す。これはゲシュタルト心理学の中核的概念であり、われわれの視覚系が複雑な環境から意味ある情報を抽出するうえで不可欠とされてきた。', 'type': 'unstyled', 'depth': 0, 'inlineStyleRanges': [], 'entityRanges': [], 'data': {}}], 'entityMap': {}}}, {'key': '3qsfu', 'term': 'トランスフォーマー', 'description': {'blocks': [{'key': '15kt9', 'text': 'Transformer。２０１７年にVaswaniらが考案した言語翻訳用の人工神経回路。英語を単語（トークン）に分解して入力すると、正しいドイツ語が出力されるように１億語のデータで訓練した。それまでの人工神経回路と異なり、各層に横方向の情報のやり取りを行うアテンション（注意）のメカニズムを導入した。このアテンションを導入することで、ある単語の意味を捉えるのに周辺の単語の情報を文脈として使うことが可能となり、複数の意味を持つ単語に、適切な意味を付与することが可能となった。トランスフォーマーは横方向のアテンションのおかげで、大変優れた言語処理能力を獲得したため、Chat GPTをはじめとするその後の大規模言語モデルは、すべてトランスフォーマーである。大きく違うのはサイズだけ。最初のトランスフォーマーは6層だったのに、2023年に発表されたChat GPT4は巨大化して数百層となり、訓練には１兆語のデータが用いられたと推定されている。', 'type': 'unstyled', 'depth': 0, 'inlineStyleRanges': [], 'entityRanges': [], 'data': {}}], 'entityMap': {}}}]}

['fbs', 'med']

['北澤 茂', '山本拓都']

テレビや映画を見るとき、我々の視線は驚くほど一致した動きを示します。人工知能はどうなのでしょうか。驚いたことに、同じ構造の人工知能でも、「育て方」次第で人に似ることもあれば、似ないこともある、ことがわかりました。のびのびと学習した個体だけが人間に似た視線の動きを獲得したのです。人間の育て方にも大いに示唆を与える結果だと思います。

https://rd.iai.osaka-u.ac.jp/image/photo_drwan_640.png

北澤　茂

教授

生命機能研究科

https://rd.iai.osaka-u.ac.jp/ja/9591da725175def9.html