XNews

Vercel工程师发布gpu-lexer:基于WebGPU的27.5KB神经语法高亮器

Vercel工程师发布gpu-lexer:基于WebGPU的27.5KB神经语法高亮器

Vercel的Shu Ding发布了gpu-lexer,一个运行在WebGPU上的27.5KB神经语法高亮模型。它针对基于规则的三个痛点:MB级别的语法包(Shiki/TextMate)、带有异步加载的复杂语言检测、以及CPU分词器导致的主线程阻塞。该模型执行序列标注——预测每个token的语法角色——在50多种语言上训练,并通过跨语言模式泛化到未见过的语言。与Shiki在GitHub前25种语言上的真实VS Code语法进行了基准测试,作者指出基于AST的Shiki在结构上更精确,gpu-lexer目前还无法完全替代规则引擎。

Source posts