XNews

Vercelエンジニアがgpu-lexerを公開:WebGPU上で動作する27.5KBのニューラル構文ハイライター

Vercelエンジニアがgpu-lexerを公開:WebGPU上で動作する27.5KBのニューラル構文ハイライター

VercelのShu Ding氏は、WebGPU上で動作する27.5KBのニューラル構文ハイライティングモデル「gpu-lexer」を公開した。このモデルは、ルールベースの3つの問題点、すなわちメガバイト規模のグラマーバンドル(Shiki/TextMate)、非同期読み込みを伴う複雑な言語検出、CPUトークナイザーによるメインスレッドのブロッキングを対象としている。gpu-lexerは系列ラベリングを実行し、各トークンの構文上の役割を予測する。50以上の言語でトレーニングされ、言語横断的なパターンを通じて未学習の言語にも一般化する。GitHubの人気上位25言語でShikiの実際のVS Codeグラマーとベンチマーク比較が行われ、著者はASTベースのShikiが構造的により正確であり、gpu-lexerはまだルールエンジンを完全に置き換えることはできないと述べている。

Source posts