学士会報 第九六四号
正月に来ましたが、あまり面白くなかったです。昔は正月は読むものもなく学士会報もいい暇つぶしでしたが、現代の高度情報化社会では正月にもゴミ情報がドンブラコと流れてくるので読む気分もそれほど無いです。
「台湾海峡の将来」、「国際政治の観点から見たインドをめぐる情勢」は比較的客観的で対象を客体的に見ていて良かったです。しかし第九六五号の「トルコ・エルドアン政権の外交戦略」は対象に”寄り添いすぎて”気持ちの悪い記事でした。外国の異文明を見るときは、本質的に理解できない異質のものであるという前提で、もっと路傍の犬の糞とそれに集る蠅でも眺めるつもりで対象を見た方が良かろうかと思います。
学士会報 第九六五号
「国連において日本が果たすべき役割」：要旨に『元国連大使が、日本人は国連を理想化せず国益のために利用せよと説く。』とあって、わりとまともなことが書かれていました。
国連というと途上国の上流階級が公金をむしり取るために使っている文明の程度の低い浅ましい有り様の穢らわしい存在であるものの、馬鹿と鋏は使いようでうまく利用すれば役に立つこともあるやもしれぬと思います。
「新型コロナウイルス感染症のパンデミックから我々は何を学んだのか」：コビット-19 以前に、過去のものとみなされていた感染症の脅威と対策の不備を指摘していた筆者の講演をまとめたもので、今回の武漢肺炎に対する日本の対応などがまとめてありました。
記事に足りないと感じるのは、武漢肺炎を発生させた支那への責任追及とネットの反ワクチンおじさん・おばさんの出現考察などでしょうか。医学からは外れるので致し方ないと思いますが、もっと支那人を文革時代のように責め立てる君子が現れて欲しいと乞い願う世界の庶民の声なき声よ天帝に届けw 天は周の最高神、帝は殷の最高神
またジェンナーの種痘も当時の百姓町人からは、種痘をすると牛になるとか気狂い博士の神の摂理への背信だとか、散々な叩かれようだったので、反ワクもまぁさもありなん。しかしネット時代は、それでアクセスや金を稼げたり承認欲求を満たせたりで、実社会での利益につながるというのがまずいところでしょうか。アフリカの迷信深い土人が携帯電話を持つようになって、魔女狩りのような集団ヒステリーがこれまでとは桁違いのスピードと動員力を持って起きてリンチ殺人などにつながっているという話を耳にしますが、気狂いに刃物の言い草どおり、文化・文明水準に合わない道具を持つと碌なことにならないようです。また集団のうち何%かは必ず良識的な意見の反対方向に動く傾向があるので、ポケモン・ショックの光過敏性てんかんのように、大量曝露で妖怪天邪鬼が炙り出されただけなのかもしれません。
「チャットGPTのインパクト」：目次で見たときは期待しましたが、SEO 対策記事のような内容でしたw
chatGPT 先生に LLM の多様体をイメージしていただきました
The image represents an abstract interpretation of a manifold in the context of large language models (LLMs). In mathematical terms, a manifold is a space that might be complex and high-dimensional but locally resembles simpler low-dimensional spaces. In the context of LLMs, this concept can be thought of as representing the vast, intricate space of language data and relationships that the model navigates and understands.
今をときめく LLM をまねぶらんと思いはべって、ちょこちょこ解説などを読んでいますと LLM の manifold がうんちゃらと出てきたので、どういうことかと chatGPT をはじめとする AI 先生に伺ってみたところ、入力文章は単語列とみなせば、それぞれが高次元(数百から数万次元)のベクトルに割り当てられてられるが、このとき似たような単語は似たようなベクトルとなり、そのベクトルの一つを微小変位させたとき、出力の方も微小変位するという意味で連続性や滑らかさが成り立っていて、局所的に多様体をなしていると見做せるということのようでした。
ベクトルは嘘か真か V(king )-V(man)+V(woman)〜V(queen) のような演算則も成り立ち、内積が定義された計量空間で距離概念もあるようです。コンピュータの世界では、ベクトルという用語は単に１次元配列のことを指しているだけのことがあるのですが、マジもののベクトルのようです。また長さはみな１に規格化されて、方向余弦になっているようです。
そうしてみると、単語列は単位球上の飛び飛びの点列ですが、多分非線形の変換を受けて高次元空間でほぼ連続な経路を描くように変形されるのではないかと想像します。そうして文法的に許される文章の全ては高次元空間の中で経路の集合として低次元の連続した曲面ないし多様体を描くのではないかと思います。さらにその中で意味をなす文章は、その中の低次の部分多様体ではなかろうかと想像します。chatGPT 先生によれば、これは粗雑すぎるイメージのようですが。これに加えて、文、段落、文章などの高次の構造が自己相似的だったりしつつあるようです。
また直接学習していない能力の創発なども、多様体の解析接続のようなイメージで説明できるのかもしれないようです。
chatGPT 先生と対話していると、思いもよらない発想が出てきて、とても楽しいです。
私的には、言葉という離散的な表現からベクトルの連続性に従って単語の間を内挿する、あるいは外挿することによる、もっと連続的な表現力の拡大・拡張というものに可能性を覚えました。
出力全文
The image represents an abstract interpretation of a manifold in the context of large language models (LLMs). In mathematical terms, a manifold is a space that might be complex and high-dimensional but locally resembles simpler low-dimensional spaces. In the context of LLMs, this concept can be thought of as representing the vast, intricate space of language data and relationships that the model navigates and understands.
In the visualization:
Swirling Patterns and Interconnected Paths: These could represent the intricate, interconnected nature of language and semantics that LLMs navigate through. Each path may symbolize different narrative threads or linguistic structures that the model analyzes and understands.
Diverse Regions: Different areas in the landscape may symbolize different aspects of language processing, such as grammar, semantics, pragmatics, etc. These regions show how LLMs can handle a wide array of language-related tasks by moving through different areas of the manifold.
Surreal, Mathematical Feel: This aspect of the image highlights the abstract and complex nature of the data and relationships that LLMs work with. It underscores that, while we can conceptualize and visualize these processes to a certain extent, they are inherently complex and multi-dimensional beyond standard human perception.
Overall Complexity and Interconnectedness: This reflects how all elements of language are interrelated and how understanding or generating coherent text involves navigating this complex landscape.
The image is meant to give a visual metaphor to these ideas, translating the abstract, mathematical concept of a manifold into something more tangible, illustrating the complexity and depth of the computational processes involved in LLMs.
