TensorFlow Lite是开源深度学习框架TensorFlow的轻量级方案，支持设备内置的会话建模，来将智能会话功能插入到聊天应用。TensorFlow团队最近发布了TensorFlow Lite的开发者预览版本，可以在移动和嵌入式设备中使用。

在过去的几年中，在移动和嵌入式设备上部署机器学习模型的需求持续增长。今年早些时候，谷歌团队发布了Android Wear 2.0技术，将谷歌助手带到了您的手腕上。这是第一个针对智能通讯的设备内置机器学习技术，也让基于云的类似Smart Reply（已经在Gmail、Inbox和Allo可用）的技术，能够不连接到云就直接在应用中使用。

TensorFlow已经应用在从服务器到物联网设备的许多平台上。现在，TensorFlow Lite可以用来，使得设备内置的机器学习模型，能够进行低延迟的推理。TensorFlow Lite被设计成轻量和跨平台的，使得可以运行在不同的平台上，首先是Android平台和iOS平台。它使用了各种低延迟的技术，例如优化移动应用的内核、预融合激活（pre-fused)以及允许更小和更快（定点数学）模型的量化内核。

重点要提的是，TensorFlow已经支持TensorFlow Mobile API，后者被移动和嵌入式设备中部署的机器学习模型使用。TensorFlow Lite是TensorFlow Mobile的演化版，随着它逐渐发展成熟，它会成为在设备上部署模型的推荐方案。

TensorFlow Lite的架构设计包括以下组件：

TensorFlow Model: 一个保存在硬盘上的训练过的TensorFlow模型。Converter: 这个程序将模型转换成TensorFlow Lite文件格式。Model File: 一份基于FlatBuffers格式的优化了速度和大小的模版文件。

TensorFlow Lite支持用Android Neural Networks API进行硬件加速。它还支持不同的模型，例如MobileNet、Inception v3和Smart Reply。

设备内置的会话建模

作为TensorFlow Lite库的一部分，TensorFlow团队还已经发布了一个设备内置的会话模型和一个使用自然语言应用例子的样本应用。开发者和研究人员可以通过这个应用来构建新的基于设备内置推理的机器智能功能。这个模型使用可以轻松插入到聊天应用的推理功能，生成回复建议，来输入会话聊天消息。这种推理需要会话智能功能。

这个会话模型使用了一种用来训练紧凑型神经网络的新的机器学习架构。这种架构基于一个联合的优化框架，这种框架在Sujith Ravi关于使用神经投射的设备内置深度网络的调研报告有所讨论。这种架构使用高效的“投射”操作，将输入转换成一个紧凑的位向量表示。相似的输入被投射到相近的向量，而向量的密集或稀疏取决于投射的类型。例如，像“嗨，现在怎么样了”和“伙计，现在怎么样了“的消息，可能会被投射到相同的向量表示。

这个设备内置模型被使用一个机器学习框架进行端到端的训练。这个机器学习框架，混合训练两种类型的模型：一种紧凑的投射模型和一种训练者模型。这个模型被训练之后，投射模型可以直接用来在设备上进行推理。

在未来的版本中，TensorFlow Lite会支持更多模型和内置操作，提高定点和浮点模型的性能。

TensorFlow Lite开发者预览版本的文档、代码示例、应用样本都可以在GitHub上查看。你还可以找到被这个会话模型使用的样本消息列表。

查看英文原文：TensorFlow Lite Supports On-Device Conversational Modeling