Q* の噂

何やら Quiet STaR なるものがあるようです。GTP５の予告を小出しにするはずが、イーロン・マスクの訴訟のせいで遅れてる的、面白ストーリー。アニメにありそうな展開。

ところでクーデーター騒動の首謀者イリア・サツケバーが音信不通になって、原子力施設に軟禁されているとかいう噂があって草。どうせなら北極圏の刑務所にいるとか、乗ってるジェット機が墜落するとか言えばいい。ワグネルのプリゴジンはもう噂にもならず、イリア・プリゴジンと名前がごちゃごちゃになるw

しかしニューラルネット再興も LLM もロシア人が関わっているのが恐ろしいdeath。ソ連のまま進んでいたら「ロシア語で考えるんだ！」という世界になっていたかもしれませんw

youtu.be

今の言語モデルが、次の一語を確率で決めている一手詰めみたいなのを、複数の読み筋を何手も先まで読んでそれぞれの読み筋のエネルギーみたいなものを求めて良いのをボルツマン分布とかの確率で選ぶようです。

単語ベクトル空間ではなく、抽象思考のベクトル空間のベクトルをいじって、最後に言語に投影してゆくというような話も出ていているようです。

これは無意識から湧き上がる非言語イメージに対応する言葉が見つからず、無理に言葉に当てはめようとするとイメージが潜って消えてしまうような経験と割りとしっくりくるような気がします。

記号論とか言語やシンボル操作が全てであるというような文学系の発想が、昔から納得いかなかったのですが、最近の LLM の能力にギャフンと言わされておりました。しかし、まぁ AI の偉い人も言葉縛りに疑問を持っていたようです。

To people who claim that "thinking and reasoning require language", here is a problem:
Imagine standing at the North Pole of the Earth.
Walk in any direction, in a straight line, for 1 km.
Now turn 90 degrees to the left.
Walk for as long as it takes to pass your starting point.…
— Yann LeCun (@ylecun) 2024年3月14日