① 开源etl工具比较,kettle和talend,都有什么优势和劣势
目前kettle功能太弱小,还是等3.0出来再用吧, talend不错,支持的数据种类很多. 商用的都有很好的data mapping/transform界面,job分布式服务器和监控工具等等 具体的性能差别我不太清楚.很少做对速度要求很高的项目.
② 开源ETL工具比较,Kettle和Talend,都有什么优势和劣势
目前kettle功能太弱小,还是等3.0出来再用吧, talend不错,支持的数据种类很多.。商用的都有很好的data mapping/transform界面,job分布式服务器和监控工具等等,具体的性能差别我不太清楚,很少做对速度要求很高的项目。
拓展:
1、ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
2、信息是现代企业的重要资源,是企业运用科学管理、决策分析的基础。目前,大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统,用来记录事务处理的各种相关数据。据统计,数据量每2~3年时间就会成倍增长,这些数据蕴含着巨大的商业价值,而企业所关注的通常只占在总数据量的2%~4%左右。
③ 常用的etl工具有哪些
1、DataPipeline
DataPipeline 隶属于北京数见科技有限公司,是一家企业级批流一体数据融合服务商和解决方案提供商,国内实时数据管道技术的倡导者。
通过平台和技术为企业客户解决数据准备过程中的各种痛点,帮助客户更敏捷、更高效、更简单地实现复杂异构数据源到目的地的实时数据融合和数据管理等综合服务。
从而打破传统 ETL 给客户灵活数据应用带来的束缚,让数据准备过程不再成为数据消费的瓶颈。
2、Kettle
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
3、Talend
Talend 是数据集成解决方案领域的领袖企业,为公共云和私有云以及本地环境提供一体化的数据集成平台。Talend的使命是致力于帮助客户优化数据,提高数据可靠性,把企业数据更快地转化为商业价值。
以此为使命,Talend的解决方案将数据从传统基础架构中解放出来,提高客户在业务中的洞察力,让客户更早实现业务价值。
4、Informatica
Informatica是全球领先的数据管理软件提供商。
在如下Gartner魔力象限位于领导者地位:数据集成工具魔力象限、数据质量工具魔力象限、元数据管理解决方案魔力象限、主数据管理解决方案魔力象限、企业级集成平台即服务(EiPaaS)魔力象限。
5、DataStage
IBM® InfoSphere™ Information Server 是一种数据集成软件平台,能够帮助企业从散布在各个系统中的复杂异构信息获得更多价值。InfoSphere Information Server提供了一个统一的平台, 使公司能够了解、清理、变换和交付值得信赖且上下文丰富的信息。
IBM® InfoSphere™ DataStage® and QualityStage™ 提供了图形框架,您可使用该框架来设计和运行用于变换和清理、加载数据的作业。
④ 有没有好的ETL工具,大家推荐一下吧
我感觉Informatica用着挺好的,很大公司都用这个IBM的,我们公司就是用这个
⑤ ETL哪个开源软件好
1 随数据库环境的不同可能会使用不同的工具,不过这一点并没有限制,大多工具都支持不同的数据环境。有时可以是几种工具并用,主辅结合;
oracle下可选odi,GoldenGate;sqldeveloper亦可作为加载数据的工具;
oracle warehouse则使用owb;
ibm下可选vw(visual warehouse);
mysql下可选kettle,GoldenGate;
mssql下则使用独门的dts;
2 学习的话,可先熟悉kettle,GoldenGate。
⑥ ETL 开发工具 哪个好
开源的Pentaho 还不错,我用的就是这个
⑦ kettle spoon 开源etl工具谁用过啊,有没有详细的教程
网上资源很多,有基础的话,边学边做项目,一个月可入门。
这类工具都是入门容易,但是要做好,要有一定的数据库基础,一定的开发能力,对项目的彻底理解及前瞻性。
建议寻找QQ群加入,当然你要有一定的基础、自学能力、钻研能力。
KETTLE和SQL 2005中的SSIS都是一类的工具。
用KETTLE的,现在也非常多,还是很好上手的。
⑧ 请问大家,现在国内有没有比较好的ETL工具(开源的除外) 最好文档齐全、上手较易的!
可以看下taskctl调度产品
1) ETL领域专业的调度产品,通用的调度工具
2) 首次提出调度开发概念,并且推出集成的开发环境
3) 首创无数据库的调度管理平台
4) 多机部署,单机部署等多种部署方案
5) 少量任务,大量任务,海量任务便捷管理
6) 软件整体简单易用,设计精密,人性化,体验佳
http://wenku..com/view/0c3767e8f8c75fbfc77db234.html
⑨ 开源ETL工具与商业ETL工具对比
几种ETL工具的比较(DataPipeline,Kettle,Talend,Informatica等)
四种工具的比较主要从以下几方面进行比对:
1、成本:
软件成本包括多方面,主要包括软件产品,售前培训,售后咨询,技术支持等。
开源产品本身是免费的,成本主要是培训和咨询,所以成本会一直维持在一个较低水平。
商业产品本身价格很高,但是一般会提供几次免费的咨询或支持,所以采用商用软件最初成本很高,但是逐渐下降。
手工编码最初成本不高,主要是人力成本,但后期维护的工作量会越来越大。
2、易用性:
DataPipeline:有非常容易使用的GUI,具有丰富的可视化监控;
Kettle:GUI+Coding;
Informatica:GUI+Coding,有GUI,但是要专门的训练;
Talend:GUI+Coding,有GUI图形界面但是以Eclipse的插件方式提供;
3、技能要求:
DataPipeline:操作简单,无技术要求;
Kettle:ETL设计,SQL,数据建模;
Informatica:ETL设计,SQL,数据建模;
Talend:需要写Java;
4、底层架构:
DataPipeline:分布式,可水平扩展;
Kettle:主从结构非高可用;
Informatica:分布式;
Talend:分布式;
5、数据实时性:
DataPipeline:支持异构数据源的实时同步,速度非常快;
Kettle:不支持实时数据同步;
Informatica:支持实时,效率较低;
Talend:支持实时处理,需要购买高级版本,价格贵;
6、技术支持:
DataPipeline:本地化原厂技术支持;
Kettle:无;
Informatica:主要在美国;
Talend:主要在美国;
7、自动断点续传:
DataPipeline:支持;
Kettle:不支持;
Informatica:不支持;
Talend:不支持;