轻量级NLP工具Trankit开源，中文处理更精准，超越斯坦福Stanza，内存占用小45%

梦晨发自凹非寺
量子位报道 | 公众号 QbitAI

最新轻量级多语言NLP工具集Trankit发布1.0版本，来自俄勒冈大学。

基于Transformer，性能已超越之前的热门同类项目斯坦福Stanza。

Trankit支持多达56种语言，除了简体和繁体中文以外，还支持文言文。

先来看一组Trankit与Stanza对文言文进行依存句法分析的结果。

可以看到，Stanza错误的将“有朋自远方来”中的“有”和“来”两个动词判断成并列关系。

在简体中文的词性标注任务上，Trankit对“自从”一词处理也更好。

与Stanza一样，Trankit也是基于Pytorch用原生Python实现，对广大Python用户非常友好。

Trankit在多语言NLP多项任务上的性能超越Stanza。

在英语分词上的得分比Stanza高9.36%。在中文依存句法分析的UAS和LAS指标上分别高出14.50%和15.0%。

Trankit在GPU加持下加速更多，且占用内存更小，作为一个轻量级NLP工具集更适合普通人使用。

简单易用

Trankit的使用也非常简单，安装只要pip install就完事了。

pip install trankit

不过需要注意的是，Trankit使用了Tokenizer库，需要先安装Rust。

初始化一个预训练Pipeline：

from trankit import Pipeline

# initialize a multilingual pipeline
p = Pipeline(lang='english', gpu=True, cache_dir='./cache')

开启auto模式，可以自动检测语言：

from trankit import Pipeline

p = Pipeline('auto')

# Tokenizing an English input
en_output = p.tokenize('''I figured I would put it out there anyways.''') 

# POS, Morphological tagging and Dependency parsing a French input
fr_output = p.posdep('''On pourra toujours parler à propos d'Averroès de "décentrement du Sujet".''')

使用自定义标注数据自己训练Pipeline也很方便：

from trankit import TPipeline

tp = TPipeline(training_config={
    'task': 'tokenize',
    'save_dir': './saved_model',
    'train_txt_fpath': './train.txt',
    'train_conllu_fpath': './train.conllu',
    'dev_txt_fpath': './dev.txt',
    'dev_conllu_fpath': './dev.conllu'
    }
)

trainer.train()