「ETL趋势」FDL数据中心库/表查看和调试功能上线、数据源新增支持MongoDB写入

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.6最新功能作了介绍方便大家对比:(产品更新详情:4.1.6最新功能体验)

第一部分数据中心数据库/表查看和调试
数据源定时任务支持MongoDB写入、定时任务支持读取Gbase 8s、管道任务支持写入达梦数据库、数据服务新增适配6种数据源
数据服务支持查看/导出接口文档
数据开发
任务禁止被多人同时编辑、数据开发界面可查看节点运行状态、数据转换内的算子支持禁用及节点禁用逻辑优化、JSON 解析算子使用体验优化、登陆页面底部显示备案信息
第二部分
最佳实践合集
 
文件拆分:只保留最新拆分的文件
数据增量更新同步
自动清理FineDataLink运行记录

如果你还想学习更多FineDataLink应用技巧,可以点击:FineDataLink学习路径 (qq.com)

  数据中心

1、数据库/表查看和调试

FineDataLink作为企业的数据集成中心,经常需要查看多类数据库上下游数据以及SQL查询,为了在一个平台更好地协同,从4.1.6版本起提供库表管理功能,方便直接查询数据库数据和SQL的编写调试。

同时也是即将上线的血缘功能的基础,方便在看到ETL任务全链路上下游的同时,追溯源表数据。

库表管理查询

💠详情:库表管理

  数据源

1、  定时任务支持MongoDB写入

MongoDB是一个基于分布式文件存储的数据库,属于NoSQL中的一种非关系型数据库,当业务系统的数据量大、读写操作频繁的时候会选择MongoDB数据库作为数据存储,例如运维监控系统、第三方信息抓取和存储、游戏业务、物联网业务场景等。

从4.1.6版本起,FineDataLink可支持在定时ETL过程中,将数据写入MongoDB。

MongoDB写入

💠详情:MongoDB输出

2、定时任务支持读取Gbase 8s

4.1.6版本中FineDataLink 支持连接 Gbase 8s 数据库,进行定时任务的读取。

配置Gbase 8s数据源

💠详情:配置Gbase 8s数据源

3、管道任务支持写入达梦数据库

达梦数据源是大型通用关系型数据库,多数企业应用其进行存储管理和处理大量结构化数据。

4.1.6版本开始管道任务支持写入达梦数据库,用户可以通过管道任务对接达梦数据库将数据实时写入,从而满足企业对更高时效性的需求。

💠详情:配置达梦数据源

4、数据服务新增适配6种数据源

在数据服务模块中,FineDataLink 支持将处理好的数据库中的数据通过 API 形式发布出去,供其他工具使用,在4.1.6版本中新增6种数据源:

版本

数据源

4.1.6 新增

GBase8s

KingbaseES

ClickHouse

SAP Hana

达梦

HP Vertica

历史版本

MySQL、SQL Server、Oracle、 PostgreSQL、 GreenPlum、 FineBI公共数据、IBM DB2、 Doris、 TiDB、 Impala、  StarRocks、 TRANSWARP INCEPTOR、 StarRocks、 GaussDB 200、 阿里云Maxcompute

💠详情:支持的数据源范围                               

数据服务

1、  支持查看/导出接口文档

在FDL中,数据服务模块支持以API接口的方式提供数据,当API开发者完成开发后,将接口交由API使用者进行调用,这时候可以在应用管理界面,一键快速生成API文档,提供给API使用者查看,这个过程将接口标准化,提高了人员配合效率。

接口文档导出

💠详情:导出API文档

 数据开发

1、任务禁止被多人同时编辑

一个任务同时被多人编辑时,先保存的内容会被之后保存的内容覆盖,导致前者开发内容被误删。4.1.6版本中起禁止被多人同时编辑,方便任务的管理。

当用户编辑某个任务时,其他用户也打开该任务,则会提示:当前任务/API/应用正在被XX编辑,其他人无法编辑该任务,只能查看。

任务禁止被多人同时编辑

💠详情:任务禁止被多人同时编辑

2、数据开发界面可查看节点运行状态

在FDL 4.1.6版本中,当定时任务运行后,可以在任务界面快速查看本次运行的节点情况,若出现问题,方便快速定位到出错节点。

运行图标含义

💠详情:数据开发界面介绍

3、数据转换内的算子支持禁用及节点禁用逻辑优化

在FDL 4.1.6版本中,数据转换内的算子支持禁用,可通过「禁用节点及下游」,禁用该节点和该节点的下游节点。

常见场景:

1.  数据转换内部分算子暂不执行的情况,但后续可能会执行,不想彻底删除

2.  用户为了调试新增一些算子,不想将调试算子删除

数据转化算子禁用

💠详情:节点支持禁用

4、JSON 解析算子使用体验优化

为了提升用户对JSON解析算子使用的体验,4.1.6版本中支持同时解析多个字段,且同时解析一个JSON源字段的数组部分和非数组部分,减少多个复杂JSON的解析成本。

JSON解析

💠详情:JSON解析算子功能说明

5、登陆页面底部显示备案信息

4.1.6版本可控制登录页底部是否显示备案信息,默认关闭。开启后,用户可输入备案信息,点击「保存」,则登录页底部显示备案信息。点击备案号,即可链接跳转至工业和信息化部政务服务平台。

登录页备案

💠详情:登录页- FineDataLink帮助文档  ICP/IP地址/域名信息备案管理系统

 

==》产品最新功能一键体验

最佳实践合集

1、文件拆分:只保留最新拆分的文件

每次运行后,被拆分的文件存在重名情况,若运行了两次任务,第一次被拆分的文件依然存在,影响用户查看文件数据,或者被拆分的文件以日期和时间命名,文件不重名,但随着运行次数增多,生成的拆分文件过多,占用空间。为解决这一问题,文件拆分只保留最新拆分的文件。

可以看到该文件夹下只保留最新生成的文件,上一次生成的文件会打包压缩备份起来。

💠详情示例:文件拆分:只保留最新拆分的文件

2、数据增量更新同步

在数据同步时,为了保证数据时效性,有时我们需要对数据定时进行增量更新,比如每天将新增的一部分数据(来源表)更新至目标数据表中。

若目标表中「订单生成时间」的最大值,小于来源表的「订单生成时间」,说明来源表存在新增数据,需要将新增数据同步到目标表中。

💠示例:数据增量更新同步

3、自动清理FineDataLink运行记录

随着 FineDataLink 工程使用时间的增长,fine_dp_work_exec_record(记录定时任务的执行情况)表中的数据会不断积累,导致数据量逐渐增多。当数据量过大时,打开「任务运维>定时任务>运行记录」页面可能会变得缓慢,需要耗时 10 秒以上。为解决这一问题使用 FineDataLink 定期清理 30 天前的定时任务的运行记录数据。

💠详情参见:自动清理FineDataLink运行记录

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值。

更新详情:4.1.6更新日志 - FineDataLink帮助文档 (fanruan.com)

功能体验链接

技术文档参考:FineDataLink文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/570290.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

float类型的存储

float类型的存储 在计算机科学中,float类型通常指的是单精度浮点数。它是一种用于近似表示实数的方法,特别适用于表示很大或很小的数。float类型在大多数编程语言中遵循IEEE 754标准,这是一个国际标准,用于确保在不同计算机和编程…

了解DNS洪水攻击

域名系统 (DNS) 服务器是互联网的“电话簿“;互联网设备通过这些服务器来查找特定 Web 服务器以便访问互联网内容。在互联网中,DNS 洪水是一种网络攻击方式。 DNS 洪水攻击是一种分布式拒绝服务 (DDoS) 攻击,攻击者用大量流量淹没某个域的 D…

【苍穹外卖】Redis缓存菜品数据-业务逻辑分析

目录 Redis缓存菜品数据-业务逻辑分析1. 需求2. 需要考虑的问题3. 缓存逻辑分析4. 缓存流程图 Redis缓存菜品数据-业务逻辑分析 1. 需求 在菜品展示页面,用户点击每一个分类都会访问一次MySQL数据库数据,当大量用户使用发出大量请求时,会对…

【题目2】 大衍数列,斐波拉契数列等,用VBA 和python解决

目录 0 原始题目:大衍数列 0.1 原始题目 0.2 知识点 1 大衍数列 1.1 大衍数列定义 1.1.1 大衍数列定义 1.1.2 大衍数列注意点 1.2 用VBA实现大衍数列 1.3 用python实现大衍数列 2 斐波拉契数列 /兔子数列/ 黄金分割数列 2.1 斐波拉契数列定义 2.1.1 下面…

AI预测福彩3D第9套算法实战化测试第1弹2024年4月24日第2次测试

今天继续进行新算法的测试,今天是第2次测试。好了,废话不多说了,直接上图上结果。 2024年4月24日福彩3D预测结果 6码定位方案如下: 百位:1、0、2、3、6、7 十位:2、4、1、6、0、5 个位:3、2、4、…

第二证券|股票做短线要关注什么?

在股市中短线交易因其快速的盈利时机而招引了众多投资者,但做短线想要挣钱也不是那么容易的。对于股票做短线要重视什么,第二证券下面就为我们具体介绍一下。 短线交易需重视: 1、商场短期趋势。短线投资者首先需要重视的是全体商场趋势&am…

jsp实验11 JavaBean

二、实验项目内容(实验题目) 编写代码,掌握javabean的用法。【参考课本 上机实验 5.5.2 】 三、源代码以及执行结果截图: 源代码: Memory.java package sea.water; import java.util.ArrayList; import java.util…

C语言实现简单CRC校验

目录 一、实现题目 二、send模块 三、receive模块 四、运行截图 一、实现题目 二、send模块 #include <stdio.h> #include <string.h>// 执行模2除法&#xff0c;并计算出余数&#xff08;CRC校验码&#xff09; //dividend被除, divisor除数 void divide…

基于STM32的DAC简易信号发生器设计(HAL库)

前言&#xff1a;本文为手把手教学制造 DAC 简易信号发生器的教程&#xff0c;本教程的 MCU 使用 STM32F103ZET6 。以 HAL 库的 DAC 函数作为代码基础进行编程&#xff0c;使得信号发生器可以产生各种类型的信号波&#xff0c;包括&#xff1a;方波、三角波、正弦波和噪声波&am…

kafka部分partition的leader=-1修复方案整理

kafka部分partition的leader-1修复方案整理 1. 背景说明2. 修复测试2.1 创建正常的topic并验证生产和消费2.2 停止kafka模拟leader-12.3 修复parition2.4 修复完成验证生产消费是否恢复 3. 疑问和思考3.1 kafka在进行数据消费时&#xff0c;如果有partition的leader-1&#xff…

新火种AI|Devin再次震撼谷歌!但却是以被质疑造假的方式...

作者&#xff1a;小岩 编辑&#xff1a;彩云 我们常说有人的地方就有江湖&#xff0c;就会存在炒作&#xff0c;扒皮和虚伪。没想到&#xff0c;到了人工智能这里&#xff0c;也是一样。 4月9日&#xff0c;一位自称有35年软件工程师经验的网络博主卡尔逐帧复现了人工智能软…

09—DOM和BOM

一、DOM 1、HTML DOM (文档对象模型) 文档对象模型&#xff08;Document Object Model&#xff0c;DOM&#xff09;是表示和操作HTML和XML文档内容的基础API。当网页被加载时&#xff0c;浏览器会根据DOM模型&#xff0c;将结构化文档&#xff08;比如HTML和XML&#xff09;解…

2024年低碳技术与污染控制技术国际学术会议(ICLCTPCT 2024)

2024年低碳技术与污染控制技术国际学术会议(ICLCTPCT 2024) 2024 International Conference on Low carbon technology and pollution control technology 一、【会议简介】 2024年低碳技术与污染控制技术国际学术会议&#xff0c;是交流科研成果的绝佳平台。 这次会议将汇集世…

Python 高质量类编写指南

原文&#xff1a;https://www.youtube.com/watch?vlX9UQp2NwTk 代码&#xff1a;https://github.com/ArjanCodes/examples/tree/main/2023/classguide Python 高质量类编写指南 我们将通过一些方法增加类的可读性和易用性。 通过&#xff08;按照属性或行为&#xff09;拆分类…

大模型检索召回系统:RAG技术的全面调查与未来展望

随着人工智能技术的飞速发展&#xff0c;大型语言模型&#xff08;LLMs&#xff09;在自然语言处理&#xff08;NLP&#xff09;领域取得了显著成就。然而&#xff0c;这些模型在处理特定领域或知识密集型任务时仍面临挑战&#xff0c;如产生错误信息或“幻觉”。为了克服这些难…

docker-compose搭建redis环境:哨兵模式(一主两重两哨兵)

文章目录 0.BG1. 编写docker-compose.yml文件2. 哨兵配置文件sentinel.conf3.启动容器4.模拟故障转移 0.BG redis环境有多中模式&#xff0c;包括Standalone&#xff0c;Cluster和Sentinel模式等。这里介绍一种简单搭建Sentinel模式的方法&#xff0c;搭建一个一主两重两哨兵的…

做视频号小店一年半,内部玩法曝光,今日全盘托出

大家好&#xff0c;我是电商笨笨熊 腾讯推出电商的消息一出来&#xff0c;就成为了电商界的又一关注点&#xff1b; 不少人称腾讯做电商不会长久&#xff0c;也有人称视频号小店必将成为未来电商黑马&#xff1b; 无论是哪种说法&#xff0c;视频号小店我先替大家做了一年半…

进程状态和优先级(进程第2篇)【Linux复习篇】

目录 一、进程状态 1、进程有什么状态&#xff1f; 2、 Linux下的进程状态有什么&#xff1f; 二、进程优先级 1、进程优先级是什么&#xff1f; 2、为什么要有优先级 3、怎么改进程优先级&#xff1f;要改吗&#xff1f; 4、操作系统如何根据优先级开展调度的&#xff…

使用原型学习和特权信息进行可解释的医学图像分类

Interpretable Medical Image Classification Using Prototype Learning and Privileged Information 摘要 .可解释性通常是医学成像的基本要求。需要先进的深度学习方法来满足这种对可解释性和高性能的需求。 本文研究了训练过程中可用的其他信息是否可用于创建易于理解且强…

DS32K查看内置寄存器数值

需要在debug的时候进行查看&#xff0c;先暂停&#xff0c;再打开EmbSys Registers窗口。 需要先将导出的内容选中并双击&#xff0c;不然复制出来会变成问号。右上角有个复制按钮&#xff0c;复制到剪贴板就行。譬如我这里选择了MCR寄存器&#xff0c;复制出来的就是这个寄存器…
最新文章