SnapLogic将实时数据流分析引入可视化应用程序设计工具

庞蕊凡
导读 SnapCloud集成平台的Spring 12版本在数据连接平台中增加了实时数据流分析、组件验证和调试痕迹。如果需要做常规的数据处理和数据转换,

SnapCloud集成平台的Spring 12版本在数据连接平台中增加了实时数据流分析、组件验证和调试痕迹。如果需要做常规的数据处理和数据转换,我推荐使用这个工具。

EWEEK Labs测试表明,SnapLogic Spring 12版本证明了它可以使用“快照”将本地或基于云的应用程序和数据源绑定在一起。表示不同类型的应用程序和数据源,如MySQL表、逗号分隔值(CSV)文件,甚至数据连接操作。

需要控制和移动大量数据的大型数据中心的IT经理应该将SnapLogic Spring 12添加到他们的简短产品列表中。SnapLogic作为订阅出售,其费用根据数据吞吐量而变化。快照的价格从免费到不到1万美元不等。

为了尝试新功能,我使用SnapLogic Designer在MySQL表和CSV文件之间创建了一个简单的连接。当我使用SnapLogic Designer时,系统会自动为我提供有效快照或“组件”的选择。因为它们也被称为每个操作和每个表。例如,一个名为Customer的表可以有一个用于读取Customer的组件,一个用于向Customer中插入数据的组件,一个用于从Customer中删除数据的组件,一个用于从Customer中查找数据的组件,以及一个用于更新Customer的组件。

最后,一个组件可以执行SnapLogic所谓的“?upsert?"。结合更新和插入操作的操作。这些组件可以放在画布上,从而为这个特定的表上的操作奠定基础。对于更复杂的操作,您可以从较低级别的数据库组件开始。

我选择读取一个特定的MySQL表。然后,我添加了CSV_Writer组件,它以逗号分隔的格式将数据保存到一个平面文件中。我连接了这两个组件,这样我就可以从MySQL表中读取数据,并将其推送到CSV_Writer组件中,该组件会将接收到的数据保存到一个文件中,稍后可以在Excel中打开该文件。

这是SnapLogic的一般方法:数据从一个组件流向下一个组件,每个组件以您通过该组件的配置指定的方式处理数据。我已经从MySQL表中选择了要读取的字段,然后CSV_Writer在创建连接时默认自动选择这些字段及其名称。然后,我可以重命名这些字段,使它们在最终文件中以不同的方式显示,但我决定保持不变。

然后,我通过点击运行按钮来运行它。但是弹出一条错误消息,告诉我忘记给CSV文件命名了。因此,我单击了组件,并在屏幕底部的属性中输入了文件名。然后我再运行一次。这次,手术成功了。完成交易后,我有一个包含数据的CSV文件。

要手动编程这个操作,我必须编写一个连接到表的脚本,获取数据并将其写入文件。但是只花了几秒钟就把每个组件拖到画布上并连接起来,然后又花了几秒钟验证我想要的字段名并设置文件名。

当管道运行时,我可以测试其中一个新功能,即实时数据分析。我将鼠标悬停在组件上,然后看到一个弹出窗口,其中包含一些关于流经特定组件的数据的统计信息。这些统计数据包括通过组件的记录数、每秒处理的记录数、CPU利用率和等待时间。统计数据是实时的,随着管道的运行,我可以看到数字在不断更新。

标签:

版权声明:本文由用户上传,如有侵权请联系删除!