プログラミング言語へのテンソル記法の導入について

本日は、C言語を例にとって、既存のプログラミング言語でもテンソル記法を可能とする手法について考えてみることといたします。テンソル記法を導入すると、ベクトルや行列の演算(プログラミング言語上では配列の計算)がきわめて簡素に記述されます。

テンソル記法導入の意味

以前のブログで、ゼロから作るディープラーニングを読んだのですが、PythonのNumPy演算である"dot"を用いると、ニューラルネットワークの演算記述が非常に簡単にできることが書かれておりました。

これは良いものを読みました、ということで、私が現在開発中の並列演算記述言語"mhdl"にも同じ機能を取り込もうと、色々と検討いたしました。

dot演算を実現する一つの方法は、行列乗算を行う演算子を新たに導入して、配列に対してこの演算子が作用した場合はdot演算を行う、とすることですが、テンソル記法を導入して和の規約を用いることでも同じ演算を簡素に記述することが可能です。そして、テンソル記法には、行列乗算演算子よりも自由度が高いこと、ソースコードの理解が容易であることなどの利点があります。

テンソル記法は、コンパイラに多少の仕様を追加することで、既存の言語でも導入することができます。そこで、以下、C言語にテンソル記法を導入する方法について、ちょっと考えてみましょう。

テンソルの和の規約とは、項の添え字に同じものが現れた場合、これを全ての番号に対して振って計算してその和をとる、というものです。

次元の宣言

添え字の次元(変化する幅)はあらかじめ決めておく必要がありますので、これを宣言する必要があります。Cであれば、コンパイラディレクティブで、たとえば次のように宣言すればよいでしょう。

#dimension   #i   2

こう宣言することで、テンソルの添え字"#i"は二次元であること、すなわち値0と1をとることを宣言します。テンソルの添え字は多数用いることもありますので、添え字部分は複数記述可能としておくのが良いでしょう。たとえば、次のように宣言することで、#iと#jがそれぞれ0と1の値をとることとします。なお、テンソルの添え字は"#"を含む#iで一つの変数名のように解釈し、名前"i"を他の用途に使えるようにしておきます。

#dimension   #i   #j   2

また、変数名を省略した場合は、全ての変数の次元を指定するものとします。

#dimension 2

このように指定した場合は、すべてのテンソル添え字の次元が2であることを意味します。なお、この宣言を行った場合も、個別の添え字に#dimension宣言をおこなうことを許容し、この場合は個別の宣言を有効とします。

テンソルの演算:和の規約

このような宣言がなされた後でx = y#i * z#iと記述した場合には、x = y[0] * z[0] + y[1] * z[1]と解釈すればよいのですね。

テンソルは、物理的には共変・反変の二種類が用いられ、それぞれ上付きの添え字と下付きの添え字でこれらを識別しているのですが、単に和の規約を用いるだけなら、あえてこの二種類を区別する必要はありません。

ここでは“#”をテンソルの添え字記号に用いていますが、“#”は、番号記号と呼ばれ、番号を表す添え字には適当ですし、コンパイラに対する指示子であるという意味で、他のコンパイラディレクティブの記述に用いていることとの整合性もとられます。

テンソルの添え字は複数用いることもできます。また、x#i = y#j * z#j#iのように、左辺に用いた場合は次のように解釈します。

x[0] = y[0] * z[0][0] + y[1] * z[1][0],
x[1] = y[0] * z[0][1] + y[1] * z[1][1]

テンソル記法の優れた点は、複雑な演算を簡単に記述できることで、特にベクトルや行列の演算に威力を発揮しそうです。

この程度のことは、すでに試みられていてもよさそうですが、どこかで発表されておりましたでしょうか? gccあたりで何かやっていそうな気がしないでもないのですが、、、

マクロ名への拡張

もしこの拡張を行うのであれば、#defineで定義する名前の先頭にも"#"を付けることを許容していただくと良いですね。たとえば"#define #size 10"のようにする。こうすることで、名前"#size"はコンパイラディレクティブで定義された名前であることが一目でわかります。

この場合、マクロ名とテンソルの添え字との区別がつきにくくなるのですが、「テンソルの添え字はアルファベット一文字とする」などのローカルルールを定めておけば、この区別も容易につけられるでしょう。それでも厭だという人がおられるかもしれませんが、そういう方はこの機能を使わなければよいだけの話、何の問題もありません。

プリプロセッサによる実装

さて、これを現実に実装する手法ですが、プリプロセッサ(プリプリプロセッサ?)を作成して、これによりテンソル記法を含むソースコードを通常のCのソースコードに変換すればよいでしょう。"#k"はCの名前には使用できませんので、これを"_def_k"などに置き換えます。

kの次元数を"_dim_k"などとするのであれば、#dimension   #k   3は#define   _dim_k   3などに変形することとなります。

#dimension 3などと書かれた場合は、#define _dim_ 3などとしておき、#kなどを使用する直前に次のようにすればよいでしょう。

#ifndef _dim_k
#define _dim_k _dim_
#endif

このディレクティブ、_dim_が定義されていた場合のみに意味を持つのですが、次のように記述すべきでしょうかね。このあたりは、CのWizardの方にお任せいたしましょう。

#ifdef _dim_
#ifndef _dim_k
#define _dim_k _dim_
#endif
#endif

あとは、テンソル記法で記述された式をテンソルの演算規則に従うforループに変換するのですが、これには、"for(int   _def_k   =   0;   _def_k   <   _dim_k;   _def_k++){   }"の形に変換することとなります。このforループを用いて、左辺にある添え字に関しては複数の代入を行うこと、右辺の同じ項に表れた同じ添え字に関しては添え字の変化する範囲の値でそれぞれ乗算を行って和をとる形に式を変形します。

先に例をあげたx#i = y#j * z#j#iの場合は、次のようなコードに変換すればよい、ということですね。

for(int _def_i = 0; _def_i < _dim_i; _def_i++)
{
    for(int _def_j = 0; _def_j < _dim_j; _def_j++)
    {
        if(!_def_j) x[_def_i] = y[_def_j] * z[_def_j][_def_i];
        else x[_def_i] += y[_def_j] * z[_def_j][_def_i];
    }
}

一般的な変換規則

多数の添え字が現れた場合の処理は少々複雑ですが、テンソルの演算規約に従う形に変換プログラムを書き下すことは、さほど難しいことでもないでしょう。

単純には、

・ 左辺に現れたテンソルの添え字:それぞれを振った代入文を複数形成する
・ 右辺にのみ現れたテンソルの添え字:それぞれを変化させた項の和をとる
    -  この場合、左辺にはない添え字の全てがゼロの場合は代入文を、
    -  そうでない場合は加算代入文を選択実行するよう記述すればよい、

というわけです。

テンソルらしくはありませんが、x = y#iという記述はx = y[0] + y[1]と解釈しましょう。これにより、総和も簡単に計算することができます。


2/8追記:機械的なCソースコードへの変換法則は次のようになります。

(1) 式に含まれるすべてのテンソル添え字に対して、それぞれを次元の幅だけ変化させる多重のforループを記述する

(2) テンソルの添え字は、それぞれを配列のインデックス([_def_i]など)に書き換える

(3) 左辺に含まれていないテンソル添え字のいずれかが0ではない場合、代入演算の代わりに加算代入を行うようif文を形成する

加算がかっこで囲まれて、これに乗算がおこなわれるような複雑な式には対応できませんが、このような場合には“式が複雑すぎる”などのエラーメッセージを出すようにしておけば、さしあたりは十分に実用的だと思うのですが、、、


色々なアイデア

また、dimensionを変数的に扱うこともできるようにしておきましょう。これには、#i.dimension = 2などとするのが良さそうです。プリプロセッサは、これを

unsigned int _def_i;
unsigned int _dim_i = 2;

のように変換するわけですね。

その他、次のような記述も許しておきますと、ソースコードの簡素化に大いに役に立ちそうです。つまりこれで、配列tbl[]に、1度刻みのサイン関数の値がセットされる、というわけです。

#dimension #d 360
double tbl#d = sin(#d * PI / 180);

C言語へのテンソル記法の導入は、現実性も高く、有用ではないかと思うのですが、どうでしょうか。


本文書は、適宜修正を行っております。