欢迎光临
我们一直在努力
您的位置:首页>资讯 >

通过使用新的集成工作流程功能增强我们的单一软件环境

全球大数据到大数据解决方案的全球提供商 Syncsort宣布了其行业领先的大数据集成解决方案DMX-h的新进展,该解决方案使组织能够通过加快开发,适应不断发展的数据管理要求来加快业务目标。并利用大数据技术的快速创新。

新的,无与伦比的集成工作流程功能和Spark 2.0集成极大地简化了Hadoop和Spark应用程序的开发,使组织能够从其所有企业数据资产中获取最大价值。

Syncsort的大数据业务总经理TendüYoğurtçu表示:“随着Hadoop的实现持续增长,具有越来越多样化和复杂的用例,以及不断发展的大数据技术堆栈,组织需要一个越来越高效和灵活的应用程序开发环境。

“通过使用新的集成工作流程功能增强我们的单一软件环境,我们为客户提供了一种更简单,更灵活的方式来创建和管理其数据管道。我们还通过支持Apache Spark 2.0扩展了一次设计,可部署的架构,使客户能够轻松利用Spark 2.0和集成工作流的优势,而无需花费时间和资源来重新开发工作。”

建立端到端的数据管道可能既耗时又复杂,并且需要在多个计算框架上执行各种工作负载,所有这些工作负载都必须进行编排并保持最新状态。例如,组织可能需要访问数据仓库或大型机,为Hadoop MapReduce中的大型历史参考数据运行批处理集成,并使用Apache Spark运行流分析和机器学习工作流。开发中的延迟使业务用户无法获得决策所需的见解。

借助集成工作流,组织现在可以管理各种工作负载,例如在非常大的历史数据存储库上的批处理ETL,并在单个工作流中提取数据时参考业务规则。

这项新功能极大地简化并加速了整个数据管道的开发,从访问关键企业数据到转换数据并最终对其进行分析以获取业务见解。

集成工作流内置于Syncsort DMX-h的一次性设计,随处部署架构中,使开发人员能够:

通过在一种环境(例如笔记本电脑)中编写作业,并在本地或云中在MapReduce,Spark 1.x或Spark 2.0等任何地方运行它们,可以显着减少开发时间和资源。

使用最适合其业务的采用速度优化新技术,并能够在最适合该工作负载的计算框架上运行每个工作负载。

通过使用图形界面轻松地创建复杂的工作流程并将其组合到一项工作中,即使组织运行在不同的计算框架上,也可以使组织利用现有的技能并减少这些技能。

由于集成工作流程的所有优势,开发人员具有无与伦比的简单性和灵活性,可以适应不断变化的工作负载,从而使他们可以更快地洞察洞察力,同时将开发和机会成本降至最低。

Syncsort在其最新的主要版本DMX-h中引入了Spark支持,从而使客户可以执行最初为MapReduce设计的相同工作,并在Spark中本机运行。通过新版本,开发人员现在可以利用相同的功能来无缝利用Spark 2.0中的增强功能。

他们只需更改计算框架即可直观地设计数据转换一次,并在MapReduce,Spark 1.x或Spark 2.0中运行作业。无需重写,重新配置或重新编译。

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。