为什么建数据仓库需要使用ETL工具？ 一句话，ETL工具作用不限于数据仓库(DW)，但在数据仓库生成数据并体现其价值时ETL工具必不可少。现在是盛行大数据包装的时代，周遭的人耳濡目染也了解一二。于公司层面而言，有前瞻性思维的已经初有成效；想用大数据噱头来宣传自己的，会让其用户认为他家产品是高大上存在。所以大数据背景下ETL方向的工程师很吃香，几乎稍有体量的互联网技术公司都会发布ETL工程师的招聘职位，工资视工作经验而定。以个人经历来讲，ETL工具就是将从业务处理数据集、外部数据源和数据存储介质产生的元数据上按需求规则抽取数据，然后根据提供灵活的定制规则来清洗数据，之后将控制好质量的数据转换，最终按照预先定义好的模型，将数据加载到数据仓库。有的公司使用ETL工具将萃取出来的数据仅限内部使用，但是也有一些公司会根据自身在行业优势和业务的平面数据沉淀提供可订制化数据服务，然后通过统一API平台根据平台授权，将数据仓库的数据通过工厂模式的方法对外提供不同维度数据，从而产生数据价值。通常ETL工具萃取出来的数据是从数据的大时间跨或用户的大基数数据中提取，从而具有预判和预估价值。ETL工具有很多，例如Kettle、DataPipeline、Informatica和Talend都是比较知名ETL工具。。
如果拒交ETL认证年费，会有什么后果？ 关键看你们还想不想持有此证书，如还想就得继续交；毕竟做这个认证也不怎么便宜，如以后还有货到美国，再做一次也麻烦。如不想，则可看一下他们要求你付年费的时间截止日期，再看一下货什么时候到美国，如付款截止日期长于到美国的日期，则就用这个号出货，不低于这个日期，则考虑交费。当然，ETL认证不是强制的认证，理论上来讲有没有都可以在美国销售。如能在到美国之后才取消证书应该是最好的，同时得看风险是不是全部转移了，因为如到美国之前就取消了证书，按照规定是不能贴ETL标志的，如到美国后取消，按照规定，你的客户也得把ETL标志给去掉。
数据仓库ETL到底是什么？ ETL工作的实质就是从各个数据源提取数据，对数据进行转换，并最终加载填充数据到数据仓库维度建模后的表中。只有当这些维度/事实表被填充好，ETL工作才算完成。接下来分别对抽取，转换，加载这三个环节进行讲解：1.抽取(Extract)数据仓库是面向分析的，而操作型数据库是面向应用的。显然，并不是所有用于支撑业务系统的数据都有拿来分析的必要。因此，该阶段主要是根据数据仓库主题、主题域确定需要从应用数据库中提取的数。具体开发过程中，开发人员必然经常发现某些ETL步骤和数据仓库建模后的表描述不符。这时候就要重新核对、设计需求，重新进行ETL。正如数据库系列的这篇中讲到的，任何涉及到需求的变动，都需要重头开始并更新需求文档。2.转换(Transform)转换步骤主要是指对提取好了的数据的结构进行转换，以满足目标数据仓库模型的过程。此外，转换过程也负责数据质量工作，这部分也被称为数据清洗(data cleaning)。数据质量涵盖的内容可具体参考这里。3.加载(Load)加载过程将已经提取好了，转换后保证了数据质量的数据加载到目标数据仓库。加载可分为两种L：首次加载(first load)和刷新加载(refresh load)。其中，首次加载会涉及到大量数据，而刷新加载则属于一种。
数据仓库的处理效果为什么受etl的效率和转换质量的影响 数据仓库是建大楼，那么ETL就是打地基，基础数据不处理好，后面如何建数据仓库？可以说数据仓库70%的工作量就是ETL，甚至数据仓库搭建完成后的日常运维也是ETL。所以说一个合适的ETL工具至关重要，这里推荐昊合数据整合平台HaoheDI，国内的一款轻量级数据整合类工具软件（ETL工具），具有开发容易、部署简单、运维轻松的特点，产品采用先抽取加载到目标数据库后再进行清洗转换的ELT方式，充分利用数据库服务器自身的性能优势，通过异构数据采集、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎，开发人员只需要掌握基本的SQL语言就可以准确、高效的实现企业内数据整合的开发工作，同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能，为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。HaoheDI的应用场景包括：数据中心系统搭建、报表平台性能增强、应用系统数据迁移、系统及数据库运维。昊合数据官网可以在线体验HaoheDI，部署在云服务器上，可以去体验一下。
ETL学习笔记之一：ETL是什么？ 对于数据仓库以及ETL的知识，我基本上是个门外汉。一切都得从头开始，记个笔记，方便自已了解学习进度。首先，我们来了解最基本的定义：嗯，也有人将ETL简单称为数据抽取。至少在未学习之前，领导告诉我的是，你需要做一个数据抽取的工具。其实呢，抽取是ETL中的关键环节，顾名思义，也就将数据从不同的数据源中抓取(复制)出来。太简单了！上面的解释无首无尾，有点象能让你吃饱的第七个烧饼，仔细一想，抽取是不可能单独存在，我们需要将与之关联的一些其它环节拿出来。于是，得到ETL的定义：将数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。好的，既然到了这一个层次，我们完全会进一步展开联想，引出上面这个抽象事件的前因后果，抽取源：大多数情况下，可以认为是关系数据库，专业一点，就是事务处理系统(OLTP)。当然，广义一点，可能会是其它数据库或者是文件系统。目的地：OK，我们希望是数据仓库。数据仓库是啥？在学习之前，它对我来说是个抽象的怪物，看过一些简单的资料之后，才了解这个怪物一点都不怪。堆积用来分析的数据的仓库。是了，是用来分析的，于是，它区别于OLTP中的数据存储。在我看来，有两个原因。一。
