OpenAI研究人员日前发布了一个工具库，该工具库可以帮助研究人员在GPU上建立更快、更高效、占内存更少的神经网络。

神经网络由一些连接节点层组成。神经网络的结构处决于数据和应用程序，各种结构的变化可以很大，但所有的模型都受到GPU运行方式的限制。

一种使用较小的计算达到训练较大模型的方法是使用稀疏矩阵。如果一个矩阵里大多数元素都是零，该矩阵即为稀疏矩阵。矩阵的空白元素(零)可以被压缩，在做矩阵乘法时可以跳过这些元素，而且，稀疏矩阵占用的GPU内存较少。

OpenAI的研究科学家Durk Kingma在向记者解释时表示，矩阵运算时的计算成本与矩阵中非零项的数量成正比。

使用稀疏矩阵就意味着节省下来的额外计算可用于构建横向更宽或纵向更深的网络，从而可以更高效地训练和执行推导运算，比率可高达十倍。

通过增加稀疏性后，密集神经网络(左)可以变成更宽(中)或更深(右)神经网络。 (图片来源：OpenAI)

Kingma表示，Nvidia其实并不支持稀疏模型。OpenAI的一个团队因此决定为广泛的研究社区开发核心程序(一种编译在硬件上运行的软件的小程序)，核心程序是针对构建块状稀疏网络优化过的。

Elon Musk的人工智能研究部门的研究人员在内部利用OpenAI的核心程序训练长期短期记忆神经网络，这些神经网络被用于亚马逊和IMDB上评论文章的情绪分析。

研究人员在提交准备发表的文章(https://blog.openai.com/unsupervised-sentiment-neuron/)里表示，“我们的稀疏模型改善了文档级IMDB数据集截止目前为止的最好结果，由原来的5.91%错误率提高到5.01%。该改善结果与我们之前的结果比表现出了其潜力，原来的方法只有在处理短句层次文档时才能达到最佳效果。”

该核心程序是用CUDA编写的，OpenAI目前只为其开发了一个TensorFlow包装器，使用别的框架的研究人员需编写自己的包装器。还有，该核心程序仅支持Nvidia GPU。

Open AI的技术人员Scott Gray告诉记者，“该核心程序肯定可以扩展到其他支持小块矩阵乘法的架构，包括我知道的大多数架构，不过不包括Google的TPU2。“

Kingma说，尽管这些结果很有潜力，但“由于核心程序是新开发的，我们并不是明确知道核心程序在什么时候以及什么地方可以帮助神经网络架构。在实验中，我们提供了一些有助于在模型里添加稀疏性的例子。我们鼓励社区进一步探索这个空间。“

Gray做了补充，他表示，Nvidia已经获悉核心程序方面的工作，他们正在等代码发布后进一步提供更广泛的支持。

OpenAI的工作与Taco类似。Taco是由麻省理工学院的研究人员创建的一个软件，可自动生成处理稀疏矩阵的代码。