~Transformer（機械学習モデル）ポジショニングマップ〜
今回は、BERTに代表されるTransformer（機械学習モデル）について簡易検索を実施し、マップ化してみました（＊ごく簡単な検索結果に基づくごく簡単な分析の可視化です）。
Transformerとは、2017年に発表された「Attention is All You Need」という論文により紹介された次世代の画期的機械学習モデルです。より効率の良いトレーニング（学習）とより精度が高い各種推論を行うことができます。
2017年以降、このTransformerをベースにした機械学習モデルが数多く発表され、現在の主流となっています。（Transformerの詳細はググってみて下さい。数多の解説がありますが、にわかには理解が困難です…）
その中でも、2018年、GoogleによりリリースされたBERTは、大規模コーパス（言語データの集合体）をインプットして生成した事前学習モデルを独自の方法でトレーニングしていくモデルで、進化系や派生系が各国の研究者から発表されています。
さて、今回のマップは2枚で構成されています。
1枚目は、検索結果の出願データを基に、世界地図上での分布などを表しました。
2枚目は、出願データをざっくりと分類分けし、それを３つのレイヤー上に分類名・出願数で配置しました。その下にある出願のCAGRは1枚目の棒グラフを基にしており、市場のCAGRは他社のデータソースから、市場リーダーは、単純に出願数から導き出した私の勝手な予想です。
なお、「もっと凝った検索による出願データを基にした調査をして欲しい」
「ある特定の企業や特定の分野について深堀り調査・分析をして欲しい」
などのニーズがございましたら、ぜひ「問い合わせ」から弊社にご連絡ください！
【追記】
事前学習モデルを用意するBERTのようなモデルの構造的な課題は、高度すぎて窺い知しませんが、莫大なインプットで生成する事前学習モデルを作るのは、明らかにボトルネックであり、今後の課題となってくると思われます。
例えば、NICT BERT 日本語 Pre-trained モデル（https://alaginrc.nict.go.jp/nict-bert/index.html）には
「学習は32枚のNVIDIA Tesla V100を使用し、BPEなしで9日、BPEありで7日で完了」
との記載がありました。
聞くところによりますと、このV100というGPUは１枚100万円以上するそうです！このようなハードウェアリソースを用意できる組織はなかなかないのではないでしょうか。オンラインサービスを利用する手もありますが、やはりコストはかかりますし、日数は上記以上にかかると思われます。
