欢迎光临
我们一直在努力
您的位置:首页>资讯 >

SnapLogic将实时数据流分析引入Visual App设计工具

SnapLogic Cloud Integration Platform Spring 12版本向数据连接平台添加了实时数据流分析,组件验证和调试跟踪。如果需要进行常规数据处理和数据转换,我建议使用此工具。

eWEEK Labs的测试表明,SnapLogic Spring 12版本证明能够使用“快照”将本地或基于云的应用程序和数据源绑定在一起。代表不同类型的应用程序和数据源,例如MySQL表,逗号分隔值(CSV)文件,甚至是数据联接操作。

控制需要处理和移动大量数据的大型数据中心的IT经理应将SnapLogic Spring 12添加到其简短产品列表中。SnapLogic是作为订阅出售的,其成本根据数据吞吐量的大小而有所不同。快照的价格从无成本到10,000美元以下不等。

为了尝试新功能,我使用SnapLogic Designer在MySQL表和CSV文件之间创建了简单的连接。当我使用SnapLogic Designer时,系统会自动为我提供有效的快照或“组件”的选择。因为它们也被称为每个操作和每个表。例如,一个名为Customer的表可以具有一个组件,用于从Customer读取,一个组件用于向Customer中插入数据,一个组件用于从Customer中删除数据,一个组件用于从Customer中查找数据以及一个更新Customer。

最后,一个组件可以执行SnapLogic所谓的“ ??? upsert ????”。结合了更新和插入操作的操作。这些组件可以放置在画布上,从而为该特定表上的操作奠定了基础。可以从较低级别的数据库组件开始进行更复杂的操作。

我选择了对特定MySQL表的读取操作。然后,我添加了CSV_Writer组件,该组件将数据以逗号分隔的格式保存到平面文件中。我连接了这两个组件,以便可以从MySQL表读取数据并将其推入CSV_Writer组件,该组件会将接收到的数据保存到一个文件中,以后可以在Excel中打开该文件。

那就是SnapLogic的通用方法:数据从一个组件流到下一个组件,每个组件以您通过该组件的配置指定的方式处理数据。我选择了要从MySQL表读取的字段,然后在创建连接时,默认情况下CSV_Writer会自动选择这些字段及其名称。然后,我可以重命名这些字段,以使它们在最终文件中的显示方式不同,但我决定将它们保留不变。

然后,我通过单击“运行”按钮来运行它。但是弹出一条错误消息,告诉我我忘记给CSV文件起一个名字。因此,我单击了该组件,然后在屏幕底部的属性中输入了文件名。然后我再次运行它。这次,操作成功。完成交易后,我有了一个包含数据的CSV文件。

要手动对该操作进行编程,我必须编写一个脚本,该脚本连接到表,获取数据并将其写入文件。但是只花了几秒钟就将每个组件拖到画布上并连接它们,然后又花了几秒钟来验证我想要的字段名称并设置文件名。

在管道运行时,我能够测试新功能之一,即实时数据分析。我将鼠标悬停在组件上,然后看到一个弹出窗口,其中包含有关流过特定组件的数据的一些统计信息。这些统计信息包括通过组件的记录数,每秒处理的记录,CPU利用率和等待时间。统计信息是实时的,随着管道的运行,我可以看到数字不断更新。

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。