天问

AllenNLP笔记(1)

AllenNLP简介

  • 超模块化和轻量化。你可以使用自己喜欢的组件与 PyTorch 无缝连接。
  • 经过广泛测试,易于扩展。测试覆盖率超过 90%,示例模型为你提供了很好的模板。
  • 真正的填充和覆盖,让你可以毫无痛苦地轻松实现正确的模型。
  • 易于实验。可以通过符合 json 规范的全面记录重现实验过程。

AllenNLP包含的高质量模型有 Semantic Role Labelling、Question and Answering (BiDAF)、Entailment(可分注意力)等等。AllenNLP主要由 Allen 人工智能实验室构建和维护,该项目也与华盛顿大学等机构共同合作。AllenNLP是一个基于Apache 2.0的NLP研究库,构建于PyTorch之上,可为开发者提供语言任务中的各种业内最佳训练模型。AllenNLP可以让你轻松地设计和评估几乎所有NLP问题上最新的深度学习模型,并同基础设施一起让这些模型自由运行在云端和你的笔记本电脑上。

链接:http://allennlp.org

GitHub:https://github.com/allenai/allennlp

设置 CONDA 开发环境

Conda可为特定版本的 Python 设置所有为运行 AllenNLP 的依赖环境。

  1. 下载与安装Conda
  2. 下载安装allennlp
    cd allennlp
    conda create -n allennlp python=3.6
    source activate allennlp
    INSTALL\_TEST\_REQUIREMENTS="true" ./scripts/install\_requirements.sh
    

6.访问 http://pytorch.org/,安装相关的 pytorch 包。

7.为重复实验设置 PYTHONHASHSEED。你可能会在.bashrc 中需要这样做。

1.export PYTHONHASHSEED=2157

现在,你应该可以用 pytest -v 来测试安装结果了。

构建 Docker 开发环境

docker pull allennlp/allennlp:latest
docker build --tag allennlp/allennlp .
docker images allennlp
docker run --rm -it allennlp/allennlp

· 通过 allennlp/run bulk 运行示例句子 · 通过 allennlp/run serve 启动 web 服务来托管模型 · 通过 python 从 Python 解释器与 AllenNLP 之间交互编码

设置 Kubernetes 开发环境

  1. 设置 kubectl 连接到你的 Kubernetes 集群中。
  2. 运行kubectl create -f /path/to/kubernetes-dev-environment.yaml。这会在集群上创建一个「job」,随后可以使用 bash 连接。请注意,你将使用将推送的最后一个 Docker 文件,因此源代码可能与本地内容不符。
  3. 检索使用kubectl describe job <JOBNAME> --namespace=allennlp 创建的 pod 名称。pod 名称将会是你的 job 名之后加上一些其他字符。
  4. 使用 kubectl exec -it <PODNAME> bash 获取容器内的 shell。
  5. 完成后,不要忘记使用 kubectl delete -f /path/to/kubernetes-dev-environment.yaml来关闭 job。
博客地址:http://blog.yoqi.me/?p=4203
扫我捐助哦
喜欢 1

这篇文章还没有评论

发表评论