ETL

Vol.1「ETL」

这是一个通过解释各种关键词来帮助理解数据活用和DX（数字化转型）成功所需的思维方式的术语解释集合。

本次讲解，我们将介绍一种名为“ETL（抽取、转换和加载）”的技术，它是连接数据的一种方法。

ETL是什么

ETL（Extract/Transform/Load）是一个缩写词，表示“抽取（Extract）/转换（Transform）/加载（Load）”。它是从各种数据源（如IT系统或云）中提取数据，经过必要的数据转换处理，然后将数据加载到其他系统中的过程。ETL还可以指代用于实现这种数据流程的软件工具（ETL工具）。

近年来，在数据和信息技术的应用以及云计算的引入和利用方面，我们见证了一种备受关注的工具，它扮演着重要的角色。

ETL诞生的背景（“为什么需要这样的工具？”）

举例来说，假设您决定开始进行数据活用。您可能会想象使用分析技术或BI工具进行可视化分析，或者考虑利用机器学习等方法来充分利用数据。

在准备这样的工具时，人们往往容易忽略一个重要前提：没有数据就无法进行数据活用。此外，公司内部的数据通常散落在各个地方，因此首要任务是收集所需的数据，否则无法实现任何想做的事情。而且，仅仅收集数据是不够的，还需要对数据进行格式统一和加工处理。

在进行数据活用之前，必须高效地从各个地方收集所需的数据，而ETL工具正是能够实现这一目标的方法。ETL（Extract/Transform/Load）工具可以帮助将必要的数据从各个数据源中提取出来，并进行必要的转换和加工处理，流畅和灵活实现数据活用。

在数据活用中常见的问题

虽然有些人可能会怀疑是否真的需要专门的工具来收集数据，但在数据活用领域，通常会遇到这样的问题。事实上，花费大部分时间在数据准备上而非分析工作本身，是数据活用中常见的情况。

要实现数据活用，有许多不同的方法可供选择。传统上，一种常见的方法是作为“内部数据基础设施”，建立数据仓库（DWH）或数据湖等用于存储分析数据的场所。我们引入了数据仓库作为内部数据基础设施，本以为这样就能充分进行数据分析了。然而，数据活用并没有顺利进行。调查发现，问题并不在于分析工作本身，而是在于数据的收集和加工，这是耗时最多的部分。这种情况让人感到困扰，不是吗？因此，为了提高效率，ETL（抽取、转换和加载）工具应运而生，它旨在简化数据收集和加工的繁琐工作。

此外，我相信大家读到这里的时候，有些人可能会在做数据汇总和生成报告的工作中，需要从各个地方收集数据，然后将它们一个个复制粘贴到Excel中。这样的前期工作可能会让人感到非常烦恼和厌烦。实际上，这也是同一类问题的一部分。

当前期待的云端活用与DX实现方式

ETL（包括EAI和iPaaS）等数据集成工具在当今IT利用的趋势中备受瞩目，被视为实现云端应用和数字化转型的重要手段。

ETL最初的目的是为了满足将数据从各个来源导入数据仓库以进行分析的需求。然而，"数据整合"这一需求如今在许多不同领域和情景中都变得日益重要。

举个例子，当考虑引入和利用云技术时，有时需要与"云之外"的数据进行连接。如果没有数据整合工具，不同的云服务之间的员工数据可能会分散且不方便管理，而且在每次需要时都必须手动下载或上传数据，这将导致大量的工作量和不便之处。

此外，当尝试将不同的云服务组合起来充分利用时，实现云间协作也变得必要，这时也需要一种"连接"工具来实现。

在业务场景中，确实需要一种可以由用户自己操作的数据整合工具

ETL的概念本身可以通过各种手段来实现。您可以使用常规的编程方法来实现，也可以使用简单的工具来简化数据整合的过程。

然而，我们认为"高开发生产力"、"具备能够支撑业务基础的真正性能"以及"业务现场能够轻松使用"等因素对于未来的数据利用非常重要。

高开发生产力

ETL的出现是为了解决数据利用中的繁琐操作。如果通过手动处理数据的导入和导出，或者通过编程进行系统开发可以解决问题而且没有特别大的困扰，那么专门的工具可能就不会被开发出来。需要实现更多的功能才是关键。

具备能够支撑业务基础的真正性能

如果要在实际工作中充分利用ETL，就需要具备足够的处理性能，能够快速处理大量的数据。分析用的数据经常会变得非常庞大，而且当数据量随着多年的运营而增长时，也需要有足够的处理性能来应对。此外，作为业务支撑的基础设施，需要具备稳定运行的能力，即使发生硬件故障等意外情况，也能够正确恢复数据而不会导致数据损坏。因此，希望使用专业水平的软件来满足这些要求。

业务现场能够轻松使用

要成功推动数据利用，关键在于能够快速反映现场洞察的机制。如果每次都需要手动记录并外包处理，那将耗费大量时间。因此，希望让"现场的人们能够自己熟练操作"，也就是他们最了解需要哪些数据以及以何种形式。为了实现这一目标，需要一种简单易用的工具，能够满足正式应用的需求，并且支持在图形界面上进行无需编程的开发。

Haidu Data Spider试用版

"Haidu Data Spider"是由Saison Information Systems开发和销售的数据整合工具，具备ETL功能，并且拥有广泛的使用案例。

"Haidu Data Spider"是一款独具特色的数据整合工具，无需编写代码，只需通过直观的GUI界面（无代码开发）即可进行开发。它具备高度的开发生产力，能够满足专业业务需求并提供出色的性能。而且，它非常易于业务现场人员使用，不仅仅限于专业程序员，任何人都能够轻松上手。

"Haidu Data Spider"不仅适用于数据活用，还能够顺利解决各种IT利用的问题，例如云技术的应用。它能够解决因系统和数据分散而导致的难题，使各个部分无缝连接，从而促进各种IT利用的成功。

我们提供免费的试用版，并且还不定期举办免费的在线研讨会，让您实际尝试使用。如果您有兴趣，请务必试用。我们将不胜感激。