导读 在面前数字化转型的波浪中，企业在数据治理方面面对诸多挑战，Denodo 算作数据臆造化边界的请示者，竭力于于通过逻辑数据编织本领，匡助企业更高效地料理和利用数据钞票。本文将深刻探讨 Denodo 在数据治理和数据臆造化方面的贬责决议，阐释逻辑数据编织的理念、上风以偏激在企业中的实质应用。

主题为：数据治理与数据臆造化本领在逻辑数据编织中的应用

主要先容：

1. 现时数据环境和数据挑战的明白

2. 逻辑数据编织的理念偏激上风

3. 数据臆造化在企业实质环境中的应用场景

4. 群众见效客户案例分享

分享嘉宾｜郭杰 Denodo Technologies 大中华区本领总监

01

现时数据环境和数据挑战的明白

1. 现时数据环境的多重挑战

在现时的数据环境中，数据治理的重要挑战在于数据的转移、分散和各样化。跟着本领、资源和用户需求的变化，企业不断将数据从一个场地转化到另一个场地，以杀青数据的料理、应用和分享。可是，数据的不竭迁徙使数据治理变得愈加复杂。

最初，从数据环境的变化来看，数据量呈现出爆炸式增长的趋势。据 IDC 答复炫耀，亚太地区 2022 年的数据产量达到 41.4 ZB，瞻望到 2025 年将翻倍至 96.4 ZB。同期，数据产生和存储的表情也日益分散化。瞻望到 2025 年，在群众各个角落节点上产生的数据量将从 2021 年的 12.4 ZB 增至 40 ZB。这种数据分散化的风光不仅源于传统的东谈主为输入，还包括无数来自传感器、酬酢媒体和线上线下应用等多种渠谈的数据。

此外，云表数据的快速增长也进一步加重了数据环境的复杂性。瞻望到 2025 年，云表数据将占群众数据总量的 55%。可是，这意味着剩余的 45% 数据并未存储在云表，企业在料理这些数据时需要面对云表与非云表数据之间的踱步式脾气。对于企业来说，何如灵验料理和利用这些分散的数据钞票成为一个亟需贬责的问题。

其次，数据的各样化表情对数据治理提议了更高要求。当年，结构化数据占据主导地位，而如今，非结构化和半结构化数据的比重不断增多。例如，企业在云表或不同系统中存储的数据，不再局限于传统的数据库表情，更多的是通过 API 等方式进行造访和集成。这种数据造访方式的变化，使得企业在数据治理中需要琢磨何如料理和利用这些多模态数据。

临了，数据的及时性成为现时数据环境的另一进犯特征。2020 年，在转移平台上产生了 6.7 ZB 的数据，这径直股东了云表应用的发展。瞻望到 2025 年，25% 的原始数据将包含及时数据。及时数据的激增要求企业在数据治理决议中纳入对及时数据的料理和分析，以提高数据的价值。

详细来看，现时数据环境面对着数据量激增、数据分散、各样化和及时化等多重挑战。在这种配景下，企业需要制定新的数据治理策略，以在确保数据安全和合规的同期，提高数据的利用收尾，造谣数据料理的老本。

2. 数据治理需求的演变

在现时的数据治理中，业务部门和 IT 部门对数据的需乞降挑战正在发生变化。业务部门要求更高的数据敏捷性和质料，但愿简略快速赢得准确的数据以解救业务决策。此外，数据的使用不应依赖少数数据科学家，强调数据民主化，让更多非 IT 专科东谈主员也能随意使用数据。这种需求股东数据治理走向造谣使用门槛，让更平常的用户简略更快地亏空和利用数据。

IT 部门则面对着数据体量增多和数据叠加转移、复制导致的老本问题。传统的数据治理方式往往波及数据复制，如 ETL、ELT 等过程，但这种方式在面对大范围数据时老本崇高。因此，IT 部门需要念念考是否有更包容、更优化的治理步履，减少对数据的物理复制，尤其是提前量的对原始数据级别的全量复制行径，以此造谣数据料理的举座老本。

除了业务部门和 IT 部门的需求，数据合规和安全问题也日益隆起。首席数据官（CDO）和首席风险官（CRO）变装的出现，响应了企业对数据合规和安全的爱好。跟着企业在群众范围内的推广，数据跨境传输带来了合规和安全挑战。不同国度和地区的数据规矩（如中国的 PIPL、欧洲的 GDPR、好意思国的 CCPA）对数据的存储、传输和造访提议了严格的要求。企业必须在群众不同地区的数据治理中投降各自的规矩，以确保数据的正当合规。这些规矩对数据的存储和跨境造访提议了截止，使得数据治理策略愈加复杂。详细这些变化，数据治理步履、理念和架构需要不断演进，以适合业务敏捷性、数据合规、安全料理等多维度的需求。

3. 踱步式数据环境的当代化策略

Denodo 提议的贬责决议数据臆造化本领为数据治理提供更多的遴荐。数据臆造化是一种让数据不错在不进行物理复制的情况下被造访和料理的本领，这种方式为企业带来了优化数据治理的才智。当代数据架构需要应付两个中枢问题：最初，接受踱步式数据环境已成为势必。由于本领、安全合规、数据使用等多重原因，数据很难杀青物理积贮，强行积贮不仅老本崇高，还会带来复杂的风险。企业必须安心接受踱步式数据环境，承认数据在物理上是分散的。

其次，诚然数据在存储层面是踱步的，但在造访、料理、治理层面仍需杀青调处。若企业需要造访多个踱步在不同环境以致跨境的数据源，点对点的相连方式将导致造访汇集复杂且散乱词语，不利于明晰地掌控数据的使用情况。因此，在逻辑层面上积贮数据的造访和料理是重要。这等于逻辑数据料理的中枢念念想，它允许在踱步式数据环境下杀青数据的积贮化使用，称心业务对数据敏捷性和准确性的需求。

逻辑数据料理并非新见地，仍是被群众顶级数据料理商议机构（如 Gartner、Forrester 等）谋划多年，并履历了不同发展阶段，包括逻辑数据仓库、逻辑数据编织和数据网格等理念。Denodo 将在后续的谋划中忽闪发挥这些见地，匡助企业更好地明白逻辑数据料理在当代数据治理中的进犯性。

02

逻辑数据编织上风

1. 数据编织的上风

逻辑数据编织在当代数据架构中具有显贵上风，尤其是在数据治理和数据料理方面。把柄 Gartner 2021 年的答复，逻辑数据编织借助逻辑积贮化的数据造访，杀青了治理、审计、跟踪、安全性和监控的调处料理。具体上风如下：

调处的业务语义和安全性：逻辑数据编织提供了对数据治理的单一接入点。尽管数据存储是踱步式的，但数据的造访和料理通过逻辑积贮化杀青调处。这种调处性确保了业务语义的一致性，并强化了数据的安全性。

敏捷性与裁减拜托期间：逻辑数据编织大幅普及数据拜托的敏捷性。它灵验裁减了从需求提议到杀青拜托的周期（TTM，Time to Market），从而使数据在更短期间内为业务提供解救，提高了组织的响应速率和竞争力。

易于业务东谈主员使用：逻辑数据编织为业务东谈主员提供了一种更友好的数据亏空方式。它使用圭表化、调处的业务话语和造访申请，使得业务东谈主员无需深刻掌捏本领细节，也能灵验利用和亏空数据。

面向畴昔的架构有筹商：逻辑数据编织是一种面向畴昔的数据料理步履。其架构有筹商机动，简略适合本领发展和基础架构的变更，为企业提供了不竭发展的空间，确保数据系统在畴昔的可扩展性和可转换性。

2. 逻辑数据仓库（LDW）架构

（1）逻辑数据仓库（LDW）架构

在数据料理的架构有筹商中，逻辑数据仓库（Logical Data Warehouse, LDW）是一种常见的杀青方式，它通过调处的数据料理和造访层整合了多种数据源。构建逻辑数据仓库并不料味着物理数据仓库的隐没，物理数据仓库在 LDW 架构中依然存在，以致不错与数据湖等物理存储环境共存。通过臆造化层的整合，这些物理存储成为一个调处的逻辑数据环境。

在 LDW 架构中，左侧为各样数据源，包括物理数据仓库和数据湖，右侧则是数据应用。架构中的中枢是中间的臆造化层，它提供了一个调处的数据造访界面，不管数据位于仓库、数据湖，如故径直来自业务系统的数据源，用户王人能在这个逻辑环境中进行造访。

这一架构的机动性体现在数据的跨源造访和异构整合上，用户不错快速灵验地组织和查询来自不同源的数据。以致在某些情况下，数据无须最初参加数据仓库或数据湖，而是不错径直从业务系统中进行造访，这使得数据的处理和响应愈加机动和高效。

LDW 并不是一个全新的见地，早在 2010 年，群众范围内仍是启动平常应用这一本领架构。LDW 的兴起很猛进度上是因为物理数据仓库竖立老本崇高。跟着数据量的增长，数据仓库的转换用度，包括东谈主力、存储和期间的老本，王人会显贵高潮。例如，好多企业存储了十年以上的历史数据，尽管实质使用中可能只需要近三个月或三年的数据。对于请示层来说，经常只关注最新的数月数据，而对更久远的数据需求较少。可是，一些中层料理东谈主员或者具体实践层面的东谈主，比如财务部门，可能需要稽察较长久间跨度的数据。面对这些不同层级的需求，连续将所罕有据存放在高老本的物理数据仓库中彰着是分歧理的。

（2）数据分区与臆造化层的杀青

逻辑数据仓库的一个重要上风在于，它简略基于数据的使用场景和需求，机动分派数据存储资源。这种分派不错通过不同的分区策略杀青，比如水中分区和垂直分区。以水中分区为例，LDW 允许咱们在保持数据结构一致的前提下，将数据把柄不同条目分派到不同的存储环境中。

例如来说，企业不错将最中枢的、高造访频率的数据保存在性能更高的物理数据仓库中，而将历史性或低频造访的数据存储在如 Hadoop 集群这么的低老本环境中。对于三年以上的历史数据，由于造访频率较低，用户对查询响应期间的容忍度相对较高，因此不需要保存在高性能系统中。可是，请示层可能对及时数据的响应期间要求至极高，蔓延几秒钟就可能影响他们的决策，因此这些数据必须保存在高效的物理仓库中。而对于需要查询多年历史数据的财务或操作主谈主员，即使系统响应稍慢也不错接受，这么的数据就不错被转化到更具性价比的存储系统中。

在逻辑数据仓库的臆造化层中，用户无须体恤数据究竟存储在数据仓库如故数据湖中。臆造化层会把柄用户的申请自动决定数据的造访旅途。用户不错同期查询物理数据仓库和数据湖中的数据，而这一过程对用户来说是透明的。这么的有筹商确保了数据的机动整合和高效造访，减少了跨源查询的复杂性。

（3）LDW 构建的中枢成分

在逻辑数据仓库的竖立过程中，臆造化层的杀青波及三项中枢任务：

业务逻辑的有筹商与调处建模：逻辑数据仓库中的数据造访是通过一种业务话语进行的。不管数据是存储在物理数据仓库中，如故在数据湖中，逻辑数据仓库需要将这些数据抽象成调处的业务模子。这个模子必须是面向业务的，陋劣业务东谈主员明白和操作，保证用户简略以一致的方式造访所罕有据源。

自动化处理与优化：在逻辑数据仓库的环境中，数据造访的自动化优化至关进犯。用户发出的查询申请并不会径直指向某个特定的数据源，而是通过臆造化层的自动化机制决定应该从那儿提真金不怕火数据。把柄用户的查询条目，系统会自动判断是否从物理数据仓库或数据湖中赢得数据，从而提高造访收尾。用户不需要明白这些数据是何如踱步的，也不需要手动指定数据的开首，这一切王人是在后台通过智能优化完成的。

数据料理与治理：逻辑数据仓库的另一进犯功能是数据料理和治理，包括数据安全、监控、审计和数据治理。由于逻辑数据仓库可能会波及多个数据源，因此在保证数据造访收尾的同期，还需要确保数据的安全性和合规性。臆造化层会对数据造访进行监控和审计，保证数据治理的完满性和安全性，确保数据造访合乎企业的合规要求。

通过这三大中枢成分的构建，逻辑数据仓库简略灵验贬责物理数据仓库带来的存储和转换老本问题，提供了一个机动的、面向业务的调处数据造访平台。它不仅优化了跨源数据的查询和料理，还为企业提供了高效的数据整合决议，称心了不同层级的业务需求。

3. 逻辑数据编织的见地

逻辑数据编织（Logical Data Fabric）是频年来数据料理边界中平常谋划的一个见地，经常与逻辑数据仓库（Logical Data Warehouse）一同被说起。可是，逻辑数据编织与逻辑数据仓库并非完全雷同的见地，而是一种更平常的数据集成和料理步履。尽管面前尚未有一个统统明确的圭表界说来评释什么是逻辑数据编织，但诸如 Gartner、Forrester 等巨擘商议机构在当年五年中提议了对于它的一些不雅点，不错匡助咱们对其进行明白。

把柄 Gartner 的不雅点，逻辑数据编织最初是一种面向数据集竖立业的有筹商架构。它旨在通过提供数据集竖立业来杀青数据的无缝整合。逻辑数据编织的第二个重要脾气是它基于元数据驱动。元数据在这个架构中起到中枢作用，驱动数据集成和料理的各个本领。基于元数据驱动的架构使得逻辑数据编织简略按需完成数据集成责任，这意味着在数据集成过程中，逻辑数据编织不错动态地适合不同的数据需求。

逻辑数据编织的另一个进犯特征是其对东谈主工智能（AI）和机器学习（Machine Learning）的期骗。Gartner 指出，逻辑数据编织应当在数据集成的过程中，最大化或自动化地使用 AI 和机器学习本领，以优化数据集成和料理进程。这不仅提高了数据集成的收尾，还能使得数据分析和数据瞻念察更为智能和精确。

逻辑数据编织通过元数据来驱动悉数这个词数据集成过程，并简略基于这些元数据进行保举和优化。这种元数据与保举的结合，组成了逻辑数据编织的核热诚念，使其在数据集成边界中上演了进犯变装。

4. 数据网格

数据网格（Data Mesh）是一种新式的数据治理架构，它的中枢念念想是通过各个部门基于本人的数据居品来杀青联邦式的数据治理。与传统的积贮化数据治理方式不同，数据网格强调数据居品的踱步式料理和自治，这种方式简略更好地适合组织里面各个部门的特定需乞降数据脾气。

尊重各别：数据网格强调各部门数据的独有性，允许不同部门把柄本人需求来料理和使用数据。每个部门的数据可能在形态、结构和用途上有所不同，数据网格饱读吹保持这种各样性，而不是强制调处圭表。这一脾气使数据治理简略更机动地适合企业里面的复杂需求。

数据即居品：在数据网格中，数据被视为居品。各部门的数据居品应具备易于发现、明白和使用的脾气，陋劣其他部门在组织里面进行分享和利用。通过将数据算作居品来料理，不错确保数据质料、提高数据可用性，并使数据在组织里面弘扬更大的价值。

自就业平台：数据网格提供了一个自就业的平台，使各部门不错自主构建、部署、发布和料理其数据居品。诚然该平台由中央团队运营，但中央团队的职责仅限于转换平台，而不庄重开辟具体的数据居品。这么，各部门不错快速响应业务需求，构建合乎本人需要的数据居品，提高数据治理的收尾和机动性。

联邦式谋划治理：联邦式谋划治理确保了数据网格的举座互操作性和一致性。通过分享实体的通用语义和老例，数据网格在各部门之间杀青了数据的无缝阿谀。同期，联邦式治理还解救全局安全和料理计策的实践，确保数据在悉数这个词组织中的安全和合规。这种治理方式既保证了各部门的自主性，又转换了全局的数据一致性和安全性。

5. Denodo 的贬责决议

基于数据臆造化和 Denodo 的贬责决议，数据网格的杀青不错分步进行，其中的中枢见地是数据居品。数据网格将数据拜托视为数据居品，并将其分类为三种类型：源域的数据居品、跨域的数据居品以及面向业务的数据居品。这种分类方式强调了数据在不同场景和需求下的拜托表情，使得数据居品简略更好地就业于组织的多元化需求。

追念来看，数据料理的架构履历了三个主要阶段。把柄 Gartner 的最新接洽，不错永诀为三个时期：前数据仓库期间、逻辑数据仓库期间和增强型分析期间。

在 2010 年以前，这被称为前数据仓库期间或后数仓期间。在这一时期，企业主要构建的是物理数据仓库、数据集市和数据沙箱等环境，重心是将数据积贮到一个物理平台中进行料理和分析。跟着需求的变化和数据范围的扩大，这种物理积贮式的方式迟缓暴流露其局限性。

2010 年至 2020 年的十年被称为逻辑数据仓库期间。这一阶段的中枢在于构建调处的数据分析环境，以称心日益增长的分析需求。逻辑数据仓库在原有物理数据平台的基础上，增多了一个调处的业务语义层，即逻辑数据造访料理层。这一层的引入使得不同的数据平台不错通过调处的接口进行造访和分析，从而更好地解救业务需求。可是，数据环境的举座构建念念路在这个时期并未发生根人道的变化，依然依赖于物理数据的积贮存储。

2020 年以后，被称为增强型分析期间或行径元数据期间。在这一阶段，数据料理的中枢从物理积贮转向了元数据驱动。通过收罗和料理元数据，企业不错在调处的数据拜托和料理框架下，更高效地进行数据治理。元数据驱动不仅使数据料理愈加机动，还为数据的自动保举提供了可能性，从而杀青了行径元数据的料理架构。

在实质应用中，企业何如遴荐这三种架构是一个需要详细琢磨的问题。逻辑数据编织的中枢在于对元数据的收罗和料理，因此适用于那些在元数据料理老练度较高的企业。对于数据网格，它强调分散和自治的核热诚念，适用于数据治理老练度更高、简略自助式料理数据的企业。可是，推行中，群众范围内简略在这两个维度上王人达到老练度要求的企业不及 15%，剩余的 85% 企业往往在两个维度上王人无法完全称心。因此，逻辑数据仓库成为这些企业较为允洽的贬责决议。

需要防护的是，数据编织和数据网格并非互斥的见地。在梦想的数据治理环境中，数据编织和数据网格应当结合使用。在数据集成的架构层面，杀青自动化和编织念念想，同期在企业范围内，通过网格化的相连，杀青各个数据单位的编织。这种和会的方式，既能利用元数据驱动的数据编织上风，又能弘扬数据网格的自治性，为企业提供全面的数据治理才智。

03

企业变装与使用场景

在实质应用场景中，使用 Denodo 的数据臆造化本领不错杀青多种数据架构，包括逻辑数据仓库、逻辑数据编织以及数据网格。可是，不管接纳何种架构，王人需要把柄具体的业务需求找到允洽的切入点。以下是六个常见的切入点：

单一视图场景：构建客户、居品、车辆、档案等 360 度全景视图。这种场景适用于业务部门需要全面了解某一双象的所关连联信息，以解救业务决策和客户就业。

数据安全与合规场景：称心数据安全和合规性要求，包括数据造访限度、审计、数据阴私保护等。金融、医疗等对数据安全要求较高的行业尤为允洽。

数据就业场景：提供 API 料理和数据就业发布，杀青数据的圭表化和可复用。通过数据就业化，不错为其他系统提供调处的数据造访接口，解救机动的数据亏空。

自助式 BI 场景：称心业务部门的数据自助分析需求，杀青数据民主化和数据好处。通过自助式分析器具，业务用户不错径直对数据进行查询和分析，提高数据利用收尾。

大数据场景：包括逻辑数据仓库和逻辑数据湖的料理。在大数据环境中，逻辑数据臆造化层不错整合各样类型的数据源，提供调处的数据造访接口。

云表场景：解救上云、下云和多云策略，杀青搀和云和多云环境下的数据料理。通过数据臆造化，不错杀青云表与土产货数据的无缝集成。

04

见效案例-冰岛银行

冰岛银行（Landsbank）的实践案例展现了逻辑数据仓库和数据网格的演进过程。在接纳 Denodo 贬责决议之前，冰岛银行面对着数据料理的复杂性。银行需要称心董事会、业务部门等不同的需求，例如 KPI 答复、风险答复等。冰岛银行原有的架构中，各个业务部门接纳不同的 BI 器具（如 SAP BO、SAS）构建模子层和语义层。这种多器具、多系统的架构导致了以下问题：

数据安全与合规：银行对数据安全管控要求高，在每个数据源、数据集成层、应用层王人需要进行无数的安全和审计章程治理，增多了料理的复杂性。

数据叠加竖立：不同部门接纳不同器具和步履，导致数据模子的叠加竖立，增多了数据料理的老本。

第一年：逻辑数据仓库的杀青：为贬责上述问题，冰岛银行最初构建了逻辑数据仓库，将数据臆造化层遮蔽在原有的中间模子层上。通过数据臆造化层，银行积贮料理业务章程、安全审计章程，从而大幅造谣了数据治理和管控的老本。

第二、三年：扩展逻辑数据仓库：看到逻辑数据仓库的见效后，冰岛银即将这一架构扩充至更多业务部门，包括对私和对公业务等。逻辑数据仓库范围的扩大，杀青了对更多业务数据的积贮料理和臆造化。

第四年：数据网格的初步构建：跟着业务的扩展，冰岛银行发现仅靠物理积贮存储无法称心悉数业务需求，尤其是对原系统中数据的明白和料理成为瓶颈。因此，银行启动蚁集业务人人，对原域数据居品进行深刻治理，普及数据质料。通过逻辑数据料理的步履，银行完成了从数据积贮化到自治化的转变，为构建数据网格奠定了基础。

畴昔：数据网格的全面落地：经过多年的尽力，冰岛银行最终杀青了全行范围的数据网格化。数据网格使银行各个业务部门简略机动地造访和分享数据，从而解救业务调动。例如，对公部门不错造访同行数据，对私部门不错造访信用卡数据。数据网格的杀青使银行的业务更具机动性和可扩展性。

冰岛银行的案例展示了数据臆造化在数据料理架构中的进犯性。不管是逻辑数据仓库、逻辑数据编织，如故数据网格，数据臆造化王人不错提供机动的数据集成和治理才智尊龙凯时体育，称心不同行务场景的需求。遴荐何种架构取决于企业的业务需求、数据治理老练度以及数据安全与合规要求。在梦想情况下，数据编织和数据网格的结合不错杀青企业数据的最好治理。