SPRM

<h2>概要</h2>AokiApp NFT は、NFT の特徴を応用した新たな画像圧縮技術を用い、消費するストレージ量を大幅に削減したオンチェーン NFT コレクションである。単に図形やレイヤーを重ねるような画像で構成される従来のコレクティブ NFT ではない、顔画像の合成をオンチェーン上で行うことができる。その上、発行総数が多ければ多いほど圧縮の効果が高まり、発行総数によっては JPEG 等の汎用画像圧縮技術を用いた場合より優れた圧縮効率を誇る。さらに、画像の構成要素はベクトルの積和で表現され、さらにベクトルの大きさがトークンとして扱われるため、「ベクトルを買う」という新たな体験を得られる。これを実現するために、Ethereum 仮想マシンにおいて、少ないの命令実行数で多くのデータを処理できる工夫を凝らしたベクトル演算プログラムを開発した。<h2>背景</h2>一般的に NFT と呼ばれる規格 <a href="https://eips.ethereum.org/EIPS/eip-721" rel="noreferrer" target="_blank">EIP-721</a> には「メタデータ」を付加することができる。これは HTTP サーバーや IPFS などの外部のリソースを参照し、画像等を添付することができる仕組みであり、これを用いて、デジタル絵画を取引したり、画像のコレクションを作成したりすることができる。 しかし、これらの外部リソースの真正性、不変性、可用性には問題がある。例えば、外部の画像ファイルが削除された場合、NFT の所有者はその画像を参照できなくなってしまう。また、画像ファイルを持つサーバーがオフラインになった場合にも同様に問題が生じる。加えて、画像のハッシュ値を検証しない機構では、画像の改変があっても検出できない。こうした問題を解決するため、オンチェーン NFT の開発が進められている。オンチェーン NFT とは、NFT のメタデータをブロックチェーン上に保存することで、画像ファイルの不変性や可用性を確保することを目的としたものである。しかし、オンチェーン NFT では、画像ファイルをそのままブロックチェーン上に保存するため、ストレージ量が大きくなってしまうという問題がある。これを軽減するために、いくつかの提案がなされてきた。<a href="https://www.larvalabs.com/blog/2021-8-18-18-0/on-chain-cryptopunks" rel="noreferrer" target="_blank">Cryptopunks</a> は、無圧縮のファイルをブロックチェーンに保存した。ガスを大量に支払い、トランザクションを大量に発生させる必要があった。<a href="https://onchainmonkey.com/" rel="noreferrer" target="_blank">OnChainMonkey</a> は、各画像が円や四角形プリミティブな図形で構成されていて、SVG で容易に出力可能である。これを利用して、SVG をスマートコントラクトで合成できるようにした。しかし、これは、画像の構成要素がプリミティブな図形である必要があるため、実用的ではない。<a href="https://uniswap.org/" rel="noreferrer" target="_blank">Uniswap V3</a> のポジションに添付されている画像も同様に SVG をスマートコントラクトで合成している。SVG のフィルタなどの高度な仕様を用いており、OnChainMonkey よりリッチな画像を表示できているが、逆に言えば、SVG のフィルタで表現できない画像は作成できない。 また、全ての SVG 描画実装が同じ結果を出力するとは限らないため、同じ SVG でも環境によって表示される画像が異なる場合がある。実際に、Adobe Illustrator 2023 にて正常に表示できなかった。これでは不変性を保証できない。<a href="https://nouns.wtf/" rel="noreferrer" target="_blank">Nouns</a> も同様に SVG をスマートコントラクトで合成しているが、これは、ランレングスエンコーディングを用いて、SVG のテキストを圧縮している。これにより、消費するストレージを削減できているが、画像の構成要素がプリミティブな図形である必要があるため、実用的ではないことは変わらない。<h2>提案</h2>そこで私たちは、線形代数の知識を応用し、Principal Component Analysis (PCA) をベースとした画像圧縮技術(提案手法)を開発し、AokiApp NFT というオンチェーン NFT コレクションを作成した。 提案手法は、画像を PCA によって圧縮し、その結果をブロックチェーン上に保存する技術である。提案手法は、以下のような特徴を持つ。アルゴリズムが単純であり、高速であるアルゴリズムが単純であるため、Ethereum 仮想マシン上で実行可能な程度に小さなコードサイズで実装できるアルゴリズムが単純であるため、再現性が高い画像の構成要素がプリミティブな図形である必要がない大量発行を行う傾向にあるという特徴を持つ NFT との相性が非常に良い大量発行すればするほど、NFT コレクション全体での圧縮率が向上するPCA は、多次元データの主成分を抽出し、データの次元を削減する次元削減手法の一つである。autoencoder の最も簡単な形である。以下に、PCA の式を示す。まず、データ行列 XX を以下のように中心化する。\bar{X} = X - \frac{1}{n}\sum_{i=1}^{n} X_iXˉ=X−n 1​i=1∑n​Xi​ここで、nn はデータの個数、X_iXi​ は ii 番目のデータベクトル、\sum∑ は和を表す。次に、中心化したデータ行列 \bar{X}Xˉ の分散共分散行列 SS を求める。S = \frac{1}{n}\bar{X}^T\bar{X}S=n 1​XˉTXˉ分散共分散行列 SS の固有値と固有ベクトルを求める。固有ベクトルは、分散共分散行列 SS をかけると、その方向に伸びるベクトルの大きさが固有値になるようなベクトルである。PCA では、固有値が大きい順に固有ベクトルを選び、それらを新しい座標系として、データを射影する。具体的には、データ行列 \bar{X}Xˉ と、選んだ固有ベクトルを縦に並べた行列 VV をかけることで、新しい座標系に変換されたデータ行列 YY を求める。Y = \bar{X}VY=XˉVここで、VV の列ベクトルは、固有ベクトルであり、固有値が大きい方向を表す。また、YY の各列ベクトルは、元のデータを新しい座標系に射影した結果である。まとめると、PCA は、データ行列を中心化し、分散共分散行列を求め、その固有値と固有ベクトルを求めることで、主成分を抽出し、データの次元を削減する非常に単純な手法である。いわば、「画像のエッセンス」を得る手法である。PCA で抽出された主成分の良い特徴として、線形結合で表現できることが挙げられる。つまり、主成分ベクトルと主成分の大きさの積和で元のデータを表現できるということである。これにより、Ethereum 仮想マシン上で実行可能な程度に小さなコードサイズで実装できる。また、主成分ベクトルが画像合成に寄与する度合いを自由自在に変化させることができる。本提案では、これを Ethereum 仮想マシンで実行可能な程度に小さなコードサイズで実装し、さらに、Single Instruction Multiple Data (SIMD) のアイデアを応用し、また、画像合成に必要なメモリアライメントサイズは 16bit 程度で実現可能であるという特性を生かし、少ない命令数で画像合成を行えるようなデータパッキングと演算の工夫をアセンブリを記述することで行った。そしてこれをライブラリとして開発し、プログラムの別の個所でも利用できるようにした。<h2>検証</h2>PCA によりどのような圧縮が行われるかを確認するため、当社代表、青木ゆうきの顔画像 15244 枚を用意し、PCA による圧縮を行い、復元を試みた。AKINDO のシステムの都合で画像を掲載することはできないが、非常に高い復元精度が得られた。 なんと、コサイン類似度が 0.993 程度も得られた。 2 つのベクトルの類似度を表す指標の一つであり、以下の式で計算される。\cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{\|\mathbf{A}\| \|\mathbf{B}\|}cos(θ)=∥A∥∥B∥ A⋅B​ここで、\mathbf{A}Aと\mathbf{B}Bは 2 つのベクトルであり、\thetaθはこれら 2 つのベクトルのなす角度である。コサイン類似度は、-1 から 1 までの値を取り、1 に近いほど 2 つのベクトルは類似していることを示す。例えば、コサイン類似度が 1 であれば、2 つのベクトルは完全に同じであることを示す。 非常に高い精度で復元できていることが明白である。 さらに、パラメータ次第で、入力画像から眼鏡を除去するといった操作も可能である事を確認した。<h2>応用</h2>提案手法は、似たような画像を大量発行を行う傾向にあるという特徴を持つ NFT との相性が非常に良い。同種の画像データセットを用意でき、かつ、大量発行を行うことを前提とし、さらにフルオンチェーンで実行したいという要求がある場合に、提案手法は非常に有効である。そこで AokiApp NFT が考案された。AokiApp NFT は、当社代表 青木ゆうきの卒業研究を通して作成された 15,244 枚にも及ぶ顔画像データを存分に活用した NFT コレクションである。 青木の顔画像を無限に生成でき、さらに、青木の顔画像を自由自在に変化させることができる NFT コレクションである。青木の顔画像が欲しい方にピッタリである。PCA で画像を圧縮し、主成分の大きさをベクトル化する。そして、主成分ベクトルをブロックチェーンに保存しつつ、 <a href="https://eips.ethereum.org/EIPS/eip-1155" rel="noreferrer" target="_blank">EIP-1155</a> に準拠したトークン(SFT)を発行する。そして、その SFT を所有することで、主成分ベクトルが画像合成に寄与する度合いを SFT 所有者自身で自由自在に変化させることができ、多様な画像を生成することができる。そしてその画像をオンチェーン NFT として OpenSea 等に表示することができる。 主成分の大きさのトークンを購入し、ベクトルの寄与度合を調整できるというのは、いわば「ベクトルを購入する」体験である。このような NFT はなかなかないのではないだろうか。データ量について、それぞれの NFT 固有の情報である主成分ベクトルの大きさは微々たるデータサイズであり、どれだけ NFT を発行しても、データサイズはあらかじめ設定しておいた主成分ベクトルのデータサイズに比べれば、ほとんど増加せず、ブロックチェーンストレージの負荷を大きく抑えている。このようにデータ量を抑えつつも、出力される NFT の画像は単純な図形で構成されるものではなく、顔画像そのものであり、非常にリアルな顔画像が生成される。また、生成される画像は、青木の顔画像の特徴を保持したまま、トークンの数量次第で自由自在に変化させることができる。また、AokiApp NFT は、新たな技術応用の模索という点でも、非常に興味深いプロジェクトである。今まで、Ethereum は金融取引に特化した技術であり、Ethereum 仮想マシンも、汎用仮想マシンであるといいつつもスタックサイズの仕様等から金融取引に特化した仮想マシンであった、その結果、自然と金融取引を行うプログラムが多く研究・開発され、そうではないプログラムについてはあまり研究が進んでこなかった。特に、画像処理のような分野はブロックチェーンと非常に遠い分野であると認識されてきた。 AokiApp NFT は、非金融領域での Ethereum 仮想マシンの活用を行う実例を示すこともできており、画像処理アルゴリズムがブロックチェーンに応用可能であるということを示すことができている。これを契機に、Ethereum 仮想マシンの汎用利用、特に画像処理アルゴリズムのブロックチェーンへの応用について、より多くの研究を促進するのではないかと考えている。なお、これは顔画像だけに限らない。これだけは誤解しないでいただきたい。それほど汎用的な技術である。<h2>まとめ</h2>AokiApp NFT は、大量の顔画像を用いて作られた青木の顔画像 NFT コレクションであり、それを実現するために、PCA を用いた顔画像の圧縮技術を提案し、ライブラリを作成した。ベクトルの大きさをトークン化し、トークンを所有することで、ベクトルの寄与度合いを調整することができ、多様な顔画像をオンチェーンで表現できる面白い NFT コレクションである。 さらに、非金融領域での Ethereum 仮想マシンのユースケースを示し、画像処理アルゴリズムがブロックチェーンに応用可能であるということを示すことができている。非金融領域での Ethereum 仮想マシンのユースケースの模索について、より多くの研究を促進させることを期待している。

AokiApp NFT

未来の経費申請。XRPLによる瞬時の経費処理で、バックオフィスをスマートに。

aokiapp

Projects

Joined WaveHacks

Joined Hackathons