相关动态
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
2024-11-10 23:53

【开源项目推荐】Openme<em></em>tadata——基于开放元数据的一体化数据治理平台

大家好,我是独孤风。

这几年数据治理爆火,但迟迟没有一个优秀的开源数据治理平台的出现。很多公司选择元数据管理平台作为基础,再构建数据质量,数据血缘等工具。

今天为大家推荐的开源项目,是一个一体化的数据治理平台,一个平台解决了大部分问题。让我们一起来看看吧~

Openmetadata是一个用于数据治理的一体化平台,可以帮助我们发现,协作,并正确的获取数据。

Openmetadata提供了数据发现、数据血缘、数据质量、数据探查、数据治理和团队协作的一体化平台。它是发展最快的开源项目之一,拥有充满活力的社区,并被各行业垂直领域的众多公司采用。 Openmetadata 由基于开放元数据标准和API 的集中式元数据存储提供支持,支持各种数据服务的连接器,可实现端到端元数据管理,让您可以自由地释放数据资产的价值。

其UI非常美观,其操作和使用逻辑,也符合业务人员的习惯。

该项目的Github地址为:https://github.com/open-metadata/Openmetadata

目前标星3.2K,最新版本为1.2.3

主要开发语言前端为TS,后端为Java和Python。

可在大数据流动后台回复“Openmetadata”获取安装包与学习资料。

Openmetadata 包括以下内容:

元数据模式- 使用类型、实体和实体之间关系的模式定义元数据的核心抽象和词汇。这是开放元数据标准的基础。还支持具有自定义属性的实体和类型的可扩展性。

元数据存储- 存储连接数据资产、用户和工具生成的元数据的元数据图。

元数据 API - 用于生成和使用基于用户界面模式以及工具、系统和服务集成构建的元数据。

摄取框架- 用于集成工具并将元数据摄取到元数据存储的可插入框架,支持大约 55 个连接器。摄取框架支持众所周知的数据仓库,如 Google BigQuery、Snowflake、Amazon Redshift 和 Apache Hive;MySQL、Postgres、Oracle 和 MSSQL 等数据库;Tableau、Superset 和 metabase 等仪表板服务;消息服务,如 Kafka、Redpanda;以及 Airflow、Glue、Fivetran、Dagster 等管道服务。

Openmetadata 用户界面- 用户发现所有数据并就所有数据进行协作的单一位置。

核心功能

  • 数据协作- 通过活动源获取事件通知。使用 webhook 发送警报和通知。添加公告以通知团队即将发生的更改。添加任务以请求描述或术语表术语批准工作流程。添加用户提及并使用对话线程进行协作。
  • 数据质量和分析器- 标准化测试和数据质量元数据。将相关测试分组为测试套件。支持自定义SQL数据质量测试。有一个交互式仪表板可以深入了解详细信息。
  • 数据血缘- 支持丰富的列级沿袭。有效过滤查询以提取沿袭。根据需要手动编辑谱系,并使用无代码编辑器连接实体。
  • 全面的角色和策略- 处理复杂的访问控制用例和分层团队。
  • 连接器- 支持连接到各种数据库、仪表板、管道和消息传递服务的 55 个连接器。
  • 术语表- 添加受控词汇来描述组织内的重要概念和术语。添加词汇表、术语、标签、描述和审阅者。
  • 数据安全- 支持 Google、Okta、自定义 OIDC、Auth0、Azure、Amazon Cognito 和 oneLogin 作为 SSO 的身份提供商。此外,还支持 AWS SSO 和 Google 基于 SAML 的身份验证。

请参考大数据流动视频号的功能演示:

Openmetadata 的安装非常简单,可以使用Docker进行快速的安装,几分钟就可以搞定。

首先查看python版本。


需要python 3.7 3.8 3.9三个版本都可以。

查看docker版本。


20.10.0或者更高的版本。


需要docker compose 2.1.1或者更高的版本。

建立文件夹


创建虚拟环境。


虚拟环境生效。


更新pip


获取openmetadata配置文件


启动容器


启动postgre


随后访问

http://localhost:8585 成功!

    以上就是本篇文章【【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台】的全部内容了,欢迎阅览 ! 文章地址:http://dgaty.xhstdz.com/quote/73597.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://dgaty.xhstdz.com/mobile/ , 查看更多   
发表评论
0评