❶ 现在常用的ETL工具,哪个比较易用而且价格比较低 对安装平台是否有具体的要求
常用的ETL工具有
IBM的DataStage，Informatica的Powercenter 这两款功能强，但是成本也很高。
BSP的waha！transformation 功能相对较弱，只能运行在windows平台，支持所有数据库链接及格式化文本的链接。安装配置非常简单，界面话操作简单，价格也相对便宜的多。可以考虑这个。
❷ ETL的工具应用
ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle、久其ETL……
开源的工具有eclipse的etl插件:cloveretl
数据集成：快速实现ETL
ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。
实现ETL，首先要实现ETL转换的过程。体现为以下几个方面：
1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。
2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。
3、拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。
4、验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。
5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。
6、Lookup：查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。
7、建立ETL过程的主外键约束：对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。
❸ 哪位高手可以推荐几款通用的数据库管理工具
1、MySQL Workbench
MySQL Workbench是一款专为MySQL设计的ER/数据库建模工具。它是着名的数据库设计工具DBDesigner4的继任者。你可以用MySQL Workbench设计和创建新的数据库图示，建立数据库文档，以及进行复杂的MySQL 迁移
MySQL Workbench是下一代的可视化数据库设计、管理的工具，它同时有开源和商业化的两个版本。该软件支持Windows和Linux系统，下面是一些该软件运行的界面截图：
2、数据库管理工具 Navicat Lite
NavicatTM是一套快速、可靠并价格相宜的资料库管理工具，大可使用来简化资料库的管理及降低系统管理成本。它的设计符合资料库管理员、开发人员及中小企业的需求。 Navicat是以直觉化的使用者图形接口所而建的，让你可以以安全且简单的方式建立、组织、存取并共用资讯。
界面如下图所示：
Navicat 提供商业版Navicat Premium 和免费的版本 Navicat Lite 。免费版本的功能已经足够强大了。
Navicat 支持的数据库包括MySQL、Oracle、SQLite、PostgreSQL和SQL Server 等。
3、开源ETL工具Kettle
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
·授权协议：LGPL
·开发语言： Java
·操作系统： 跨平台
4、Eclipse SQLExplorer
SQLExplorer是Eclipse集成开发环境的一种插件，它可以被用来从Eclipse连接到一个数据库。
SQLExplorer插件提供了一个使用SQL语句访问数据库的图形用户接口（GUI）。通过使用SQLExplorer，你能够显示表格、表格结构和表格中的数据，以及提取、添加、更新或删除表格数据。
SQLExplorer同样能够生成SQL脚本来创建和查询表格。所以，与命令行客户端相比，使用SQLExplorer可能是更优越的选择，下图是运行中的界面，很好很强大。
l授权协议： 未知
l开发语言： Java
l操作系统： 跨平台
5、MySQL管理工具phpMyAdmin
phpMyAdmin是一个非常受欢迎的基于web的MySQL数据库管理工具。它能够创建和删除数据库，创建/删除/修改表格,删除/编辑/新增字段，执行SQL脚本等。
l授权协议：GPL
l开发语言：PHP
l操作系统：跨平台
6、Mongodb 管理工具Mongodb Studio
Mongodb是一款性能优良，功能丰富的文档型非关系型数据库。由于该数据库是开源项目并且还在不断更新中，目前为止在任何平台上都不能找到功能相对完整的客户端数据库管理工具。而越来越多的项目中使用了Mongodb，使得管理起来十分麻烦.如果点点鼠标就搞定了.那该有多好。
基于如上背景，我们制作了此MongoDB管理工具，在DBA/开发/管理员三个维度提供一定层次的管理功能。
Mongodb Management Studio功能如下:
l服务器管理功能
添加服务器,删除服务器
l服务器,数据库,表,列,索引,树形显示和状态信息查看
l查询分析器功能.
支持select,insert,Delete,update
支持自定义分页函 数 $rowid(1,5)查询第一条到第五条,需放在select后面.
l索引管理功能
支持列名的显示,索引的创建,查看,删除.
l数据库Profile管理.
可以设置Profile开关,查看Profile信息.自定义分页大小.
lmaster/slave信息显示
7、MySQL监控小工具mycheckpoint
mycheckpoint是一个开源的 MySQL监控工具，主要用来监控数据。通过视图方式提供监控数据报表。mycheckpoint支持以独立的Web服务器来运行。
例如：SELECTinnodb_read_hit_percent, DML FROM sv_report_chart_sample;
查看详细报表示例。
安装手册：http://code.openark.org/forge/mycheckpoint/documentation/installation
8、SQL SERVER 数据库发布向导
Microsoft SQL Server DatabasePublishing Wizard (微软SQLServer数据库发布向导) 是微软发布的一个开源工具，使用该工具可以帮你将SQLSERVER 数据库导出成一个 SQL脚本，类似 MySQL 的 mysqlmp工具。
官方说明：SQLServer数据库发布向导提供了一种将数据库发布到 T-SQL 脚本或者直接发布到支持宿主服务提供程序的方法。
9、Eclipse 的Oracle插件jOra
jOra是一个为 Oracle开发者和管理员提供的 Eclipse 插件，可轻松的对Oracle进行开发和管理。
安装地址：http://jora.luenasoft.de/updatesite
插件截图
l授权协议：免费，非开源
l开发语言：Java
l操作系统：跨平台
10、免费PostgreSQL监控工具pgwatch
pgwatch 是一个简单易用的PostgreSQL的监控工具，支持PostgreSQL 9.0 以及更新的版本。
主要特性：
- 配置简单
- 大量的监控图表
- 快速系统检查面板
- 自动收集统计信息
- 交互式的 Flash 图表
- 集成 SQL worksheet
l授权协议： Artistic
l开发语言：PHP
l操作系统： Linux
11、MySQL Browser
MySQL的客户端工具MySQL Browser的优点是简单，及其的简单，安装之后能够立刻上手，马上就能使用的那种，布局也很简陋，功能也很简陋，简单使用没有问题，尤其是刚开始学习mysql的同学，可以尝试一下。
·授权协议：未知
·操作系统： Windows
12、MySQL客户端软件HeidiSQL
HeidiSQL是一个功能非常强大的 MySQL 客户端软件，采用Delphi 开发，支持 Windows 操作系统。
l授权协议：GPL
l开发语言：Delphi/Pascal
l操作系统： Windows
13、SQLite管理工具SQLiteStudio
SQLiteStudio 是一个跨平台的 SQLite数据库的管理工具，采用 Tcl语言开发。
l授权协议：未知
l操作系统：跨平台
14、SQL客户端工具SQLyog
SQLyog 是一个易于使用的、快速而简洁的图形化管理MYSQL数据库的工具，它能够在任何地点有效地管理你的数据库。
功能：
l快速备份和恢复数据；
l以GRID/ TEXT格式显示结果；
l支持客户端挑选、过滤数据；
l批量执行很大的SQL脚本文件；
l快速执行多重查询并能够返回每页超过1000条的记录集，而这种操作是直接生成在内存中的；
l程序本身非常短小精悍！压缩后只有348 KB ；
l完全使用MySQLC APIs程序接口；
l以直观的表格界面建立或编辑数据表；
l以直观的表格界面编辑数据；
l进行索引管理；
l创建或删除数据库；
l操纵数据库的各种权限：库、表、字段；
l编辑BLOB类型的字段，支持Bitmap/GIF/JPEG格式；
l输出数据表结构/数据为SQL脚本；
l支持输入/输出数据为CSV文件；
l可以输出数据库清单为HTML文件；
l为所有操作建立日志；
l个人收藏管理操作语句；
l支持语法加亮显示；
l可以保存记录集为CSV、HTML、XML格式的文件；
l21、99% 的操作都可以通过快捷键完成；
l支持对数据表的各种高级属性修改；
l查看数据服务器的各种状态、参数等；
l支持更改数据表类型为ISAM, MYISAM, MERGE, HEAP, InnoDB, BDB；
l刷新数据服务器、日志、权限、表格等；
l诊断数据表：检查、压缩、修补、分析。
l授权协议：GPLv2
l开发语言：C/C++
l操作系统： Windows
15、数据挖掘工具RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
功能和特点
l免费提供数据挖掘技术和库；
l100%用Java代码（可运行在操作系统）；
l数据挖掘过程简单，强大和直观；
l内部XML保证了标准化的格式来表示交换数据挖掘过程；
l可以用简单脚本语言自动进行大规模进程；
l多层次的数据视图，确保有效和透明的数据；
l图形用户界面的互动原型；
l命令行（批处理模式）自动大规模应用；
lJava API（应用编程接口）；
l简单的插件和推广机制；
l强大的可视化引擎，许多尖端的高维数据的可视化建模；
l400多个数据挖掘运营商支持；
l耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。
l授权协议：未知
l开发语言：Java
l操作系统：跨平台
16、Oracle 数据库开发工具Oracle SQL Developer
Oracle SQL Developer 是一个免费非开源的用以开发数据库应用程序的图形化工具，使用SQLDeveloper 可以浏览数据库对象、运行 SQL 语句和脚本、编辑和调试 PL/SQL语句。另外还可以创建执行和保存报表。该工具可以连接任何 Oracle 9.2.0.1 或者以上版本的 Oracle 数据库，支持Windows、Linux 和 Mac OS X 系统。
·授权协议：免费，非开源
·开发语言：Java
·操作系统：Windows Linux MacOS
17、EMS SQL Manager for MySQL
EMS SQL Manager for MySQL是一款高性能MySQL数据库服务器系统的管理和开发工具。它支持从MySQL 3.23到6.0的任一版本，并支持最新版本的MySQL的特点，包括：查看、存储规程和函数、InnoDB外部键字和其他特点。它提供了大量工具以满足富有经验的用户的所有要求。添加了精心设计的操作向导系统，以及SQL Manager for MySQL那富有艺术感的图形用户界面，即使新手也可以不会为如何使用而感到困扰。
l授权协议：商业软件
l开发语言：C/C++
l操作系统： Windows
18、数据库管理工具CoolSQL
CoolSQL是一个数据库客户端管理工具。
·支持大部分数据库包括：DB2、oracle、mysql、MS SQL Server、Derby、HSQL、Informix、Sybase、PostgresSQL等。
·为用户提供友好和漂亮UI，其整体框架由视图组成类似于Eclipse。支持直接修改SQL查询结果。
·支持将表格数据导出成文本文件，EXCEL和HTML。
·拥有一个支持SQL语法着色显示，智能提示，文本编辑和查找的SQL编辑器。
·能够展示数据库大部分元数据包括：版本，数据类型、函数，连接信息等。
·支持导出数据对象信息包括对象数据（INSERT SQL语句），生成创建/删除脚本（create script/drop script）。
·所有SQL脚本都可以以批量的模式执行。
·能够搜索所有数据包括数据库列，表/视图和其他表格型。
·支持i18n，当前提供两种语言（中文和英文）。
·提供收藏功能，管理由用户收集的文本信息。
·支持通过插件扩展其功能。
ll 授权协议：未知
l开发语言：Java
l操作系统：跨平台
19、SQLite Manager
这是一款方便firefox对任何SQLite数据库操作的扩展。使用这款扩展，可以在firefox下很容易的创建表格、建立索引、浏览搜索等操作。此外它还具有一个语法检查功能的下拉式菜单，从而保证用户的操作不会出错。
20、MySQL GUI Tools
这是MySQL官方专业的数据库管理工具，同时支持多种操作系统。该工具包括下面三个产品：
·MySQL Administrator 1.2
·MySQL Query Browser 1.2
·MySQL MigrationToolkit 1.1
21、SQL客户端管理工具SQuirreL SQL Client
SQuirreL SQL Client是一个SQL客户端管理工具。它允许你查看一个兼容JDBC的数据库的结构，浏览表格中的数据，运行SQL命令, 可连接的数据库有ORCAL,MS SQLSERVER, DB2 等, 它还允许用户安装和创建用于补充应用程序基本功能的插件。
功能和特点：
l柱状图显示对像；
l自动完成；
l语句提示；
l标记；
l自动纠正；
l编辑查询结果；
l关系图；
l分页打印。
l授权协议：未知
l语言：Java
l操作系统：跨平台
22、Tomcat管理工具EasyTomcat
EasyTomcat是一个用来帮助简化 Tomcat和 MySQL管理的系统，你可以启动、停止和配置Tomcat和MySQL服务器，同时也提供了监控的功能。
l授权协议：未知
l开发语言：Java
l操作系统：跨平台
23、SQL Server管理工具sqlBuddy
SqlBuddy是C#编写的一款用于Microsoft SQLServer和MSDE的开源工具，使用它可以很容易的编写SQL脚本。SqlBuddy提供的功能和查询分析器的目的有些微不同，它倾向于帮助使用者编写SQL。
l授权协议：未知
l开发语言：C#
l操作系统： Windows
24、数据库开发工具GSQL
GSQL 是 Gnome 下的一个集成数据库开发工具。数据库结构显示在下图左边的树状结构中，支持SQL的语法着色。
l授权协议：未知
l操作系统：Linux
25、SQLite数据库管理SQLiteSpy
sqlitespy是一个快速和紧凑的数据库SQLite的GUI管理软件 。它的图形用户界面使得它很容易探讨，分析和操纵sqlite3数据库。
l授权协议：未知
l开发语言：Delphi/Pascal
l操作系统：Windows
26、数据库开发工具Aqua Data Studio
Aqua DataStudio 是一个为数据库开发人员准备的集成开发环境，可以对数据库做查询、管理，提供大量的数据库工具，例如数据库比较、源码控制等，目前支持的数据库包括：Oracle, DB2iSeries, DB2 LUW, MS SQL Server, Sybase ASE, Sybase Anywhere, Sybase IQ, Informix,PostgreSQL, MySQL, Apache Derby, JDBC, and ODBC.
l授权协议：未知
l开发语言：C/C++
l操作系统：跨平台
27、MySQL 架构管理工具MySQL MMM
MySQL Master-Master 架构常被用在 SQLquery 相依性低的情况，像是 counter常使用的INSERT INTO ... ON DUPLICATEKEY UPDATE a = a + 1不会因为out-of-order而造成问题。而 MySQL MMM算是其中一套写得比较好的 MySQLMaster-Master架构管理工具。
l授权协议：未知
l开发语言：Python
l操作系统： Linux
28、MySQL Client
MySQL的客户端工具，主界面如下：
l授权协议：未知
l操作系统：Windows
❹ 大数据etl工具有哪些
ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage，Informatica，Kettle。
一、什么是ETL？
ETL，Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
数据仓库结构
通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
ETL是BI项目重要的一个环节，其设计的好坏影响生成数据的质量，直接关系到BI项目的成败。
二、为什么要用ETL工具？
在数据处理的时候，我们有时会遇到这些问题：
▶ 当数据来自不同的物理主机，这时候如使用SQL语句去处理的话，就显得比较吃力且开销也更大。
▶ 数据来源可以是各种不同的数据库或者文件，这时候需要先把他们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦。
▶ 在数据库中我们当然可以使用存储过程去处理数据，但是处理海量数据的时候存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据资源不足，进而影响数据库的性能。
而上述遇到的问题，我们用ETL工具就可以解决。ETL工具具有以下几点优势：
1、支持多种异构数据源的连接。（部分）
2、图形化的界面操作十分方便。
3、处理海量数据速度快、流程更清晰等。
三、ETL工具介绍
1、Datastage
IBM公司的商业软件，最专业的ETL工具，但同时价格不菲，适合大规模的ETL应用。
使用难度：★★★★
2、Informatica
商业软件，相当专业的ETL工具。价格上比Datastage便宜一点，也适合大规模的ETL应用。
使用难度：★★
3、Kettle
免费，最着名的开源产品，是用纯java编写的ETL工具，只需要JVM环境即可部署，可跨平台，扩展性好。
使用难度：★★
四、三种ETL工具的对比
Datastage、Informatica、Kettle三个ETL工具的特点和差异介绍：
1、操作
这三种ETL工具都是属于比较简单易用的，主要看开发人员对于工具的熟练程度。
Informatica有四个开发管理组件，开发的时候我们需要打开其中三个进行开发，Informatica没有ctrl+z的功能，如果对job作了改变之后，想要撤销，返回到改变前是不可能的。相比Kettle跟Datastage在测试调试的时候不太方便。Datastage全部的操作在同一个界面中，不用切换界面，能够看到数据的来源，整个job的情况，在找bug的时候会比Informatica方便。
Kettle介于两者之间。
2、部署
Kettle只需要JVM环境，Informatica需要服务器和客户端安装，而Datastage的部署比较耗费时间，有一点难度。
3、数据处理的速度
大数据量下Informatica与Datastage的处理速度是比较快的，比较稳定。Kettle的处理速度相比之下稍慢。
4、服务
Informatica与Datastage有很好的商业化的技术支持，而Kettle则没有。商业软件的售后服务上会比免费的开源软件好很多。
5、风险
风险与成本成反比，也与技术能力成正比。
6、扩展
Kettle的扩展性无疑是最好，因为是开源代码，可以自己开发拓展它的功能，而Informatica和Datastage由于是商业软件，基本上没有。
7、Job的监控
三者都有监控和日志工具。
在数据的监控上，个人觉得Datastage的实时监控做的更加好，可以直观看到数据抽取的情况，运行到哪一个控件上。这对于调优来说，我们可以更快的定位到处理速度太慢的控件并进行处理，而informatica也有相应的功能，但是并不直观，需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。
8、网上的技术文档
Datastage < Informatica < kettle,相对来说，Datastage跟Informatica在遇到问题去网上找到解决方法的概率比较低，kettle则比较多。
五、项目经验分享
在项目中，很多时候我们都需要同步生产库的表到数据仓库中。一百多张表同步、重复的操作，对开发人员来说是细心和耐心的考验。在这种情况下，开发人员最喜欢的工具无疑是kettle，多个表的同步都可以用同一个程序运行，不必每一张表的同步都建一个程序，而informatica虽然有提供工具去批量设计，但还是需要生成多个程序进行一一配置，而datastage在这方面就显得比较笨拙。
在做增量表的时候，每次运行后都需要把将最新的一条数据操作时间存到数据库中，下次运行我们就取大于这个时间的数据。Kettle有控件可以直接读取数据库中的这个时间置为变量；对于没有类似功能控件的informatica，我们的做法是先读取的数据库中的这个时间存到文件，然后主程序运行的时候指定这个文件为参数文件，也可以得到同样的效果