当前位置:云计算企业动态 → 正文

微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题

责任编辑:editor007 作者:孙博 |来源:企业网D1Net  2017-09-08 20:57:07 本文摘自:至顶网

随着愈发强调AI技术的重要意义再配合其作为工具供应商的角色定位,微软公司此次在传统程序员之外、决定面向数据科学家开发工具的决策可谓毫不令人意外。

根据微软研究部门在今年早些时候发布的声明,数据科学家们目前将80%的工作时间用于数据的信息提取与清理工作——即“数据清洗”。微软公司希望帮助其解决这一难题。

Pendleton项目由此诞生。

一年之前,我第一次听说微软公司正在开发一款代号为Pendleton项目的新型机器学习相关工具。不过在此之后,由于缺少充分的背景信息,我们一直无法对Pendleton作出深入解析。

不过根据最近发布的Pendleton“入门介绍”文档,我们得知Pendleton项目在微软心目中的具体定位:

“Pendleton项目提供一套灵活且具备可扩展性的工具集,旨在帮助您探索、发现、理解数据内容并修复其中的问题。其允许用户以多种形式实现数据消费,并将数据转换为更适合您实际用例的新形式。”

Pendleton是一款客户端应用,面向Windows与OS X/MacOS平台。其运行时利用Python设计,且依赖于多种Python库。

根据一位知情人士的说明,Pendleton项目是一款面向数据科学家的工具,专门用于进行数据筹备与清理。该工具能够实现错误列删除、列格式更改以及丢失数据处理等。另外,其还提供各类分析工具,可帮助数据科学家获取数据集中包含的具体内容。Pendleton项目可以从SQL Server、Azure Blob以及数据湖当中读取数据,亦可与本地PC文件内读取信息。

微软公司已经在内部对Pendleton项目测试了近一年时间——实际周期可能更长。我还没有听说软件巨头打算如何发布这款工具,但似乎其确实在酝酿相关计划。

在我看来,微软研究部门的PROSE(即项目综合使用示例)团队可能负责为Pendleton项目“开发数据清洗的项目综合技术,并将其纳入实际产品”,或者说至少有参与其中。

与此同时,在数据科学与大数据集方面,微软公司与Facebook则于今天公布了其共同开发的新型模型格式,其可确保各类深度学习模型在不同框架之间实现往来转移。

这项新标准被称为开放神经网络交换(简称ONNX),其允许开发人员在微软Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之间将模型往来迁移。ONNX代码的初始版本及相关说明文档目前已经以开源项目形式公布在GitHub之上。

关键字:pendleton数据清洗

本文摘自:至顶网

x 微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题 扫一扫
分享本文到朋友圈
当前位置:云计算企业动态 → 正文

微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题

责任编辑:editor007 作者:孙博 |来源:企业网D1Net  2017-09-08 20:57:07 本文摘自:至顶网

随着愈发强调AI技术的重要意义再配合其作为工具供应商的角色定位,微软公司此次在传统程序员之外、决定面向数据科学家开发工具的决策可谓毫不令人意外。

根据微软研究部门在今年早些时候发布的声明,数据科学家们目前将80%的工作时间用于数据的信息提取与清理工作——即“数据清洗”。微软公司希望帮助其解决这一难题。

Pendleton项目由此诞生。

一年之前,我第一次听说微软公司正在开发一款代号为Pendleton项目的新型机器学习相关工具。不过在此之后,由于缺少充分的背景信息,我们一直无法对Pendleton作出深入解析。

不过根据最近发布的Pendleton“入门介绍”文档,我们得知Pendleton项目在微软心目中的具体定位:

“Pendleton项目提供一套灵活且具备可扩展性的工具集,旨在帮助您探索、发现、理解数据内容并修复其中的问题。其允许用户以多种形式实现数据消费,并将数据转换为更适合您实际用例的新形式。”

Pendleton是一款客户端应用,面向Windows与OS X/MacOS平台。其运行时利用Python设计,且依赖于多种Python库。

根据一位知情人士的说明,Pendleton项目是一款面向数据科学家的工具,专门用于进行数据筹备与清理。该工具能够实现错误列删除、列格式更改以及丢失数据处理等。另外,其还提供各类分析工具,可帮助数据科学家获取数据集中包含的具体内容。Pendleton项目可以从SQL Server、Azure Blob以及数据湖当中读取数据,亦可与本地PC文件内读取信息。

微软公司已经在内部对Pendleton项目测试了近一年时间——实际周期可能更长。我还没有听说软件巨头打算如何发布这款工具,但似乎其确实在酝酿相关计划。

在我看来,微软研究部门的PROSE(即项目综合使用示例)团队可能负责为Pendleton项目“开发数据清洗的项目综合技术,并将其纳入实际产品”,或者说至少有参与其中。

与此同时,在数据科学与大数据集方面,微软公司与Facebook则于今天公布了其共同开发的新型模型格式,其可确保各类深度学习模型在不同框架之间实现往来转移。

这项新标准被称为开放神经网络交换(简称ONNX),其允许开发人员在微软Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之间将模型往来迁移。ONNX代码的初始版本及相关说明文档目前已经以开源项目形式公布在GitHub之上。

关键字:pendleton数据清洗

本文摘自:至顶网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^