文章详情

  • 游戏榜单
  • 软件榜单
关闭导航
热搜榜
热门下载
热门标签
php爱好者> php文档>从上亿数据中抽取千万数据只需10分钟内

从上亿数据中抽取千万数据只需10分钟内

时间:2010-08-24  来源:徐郞顾

  随着业务,数据量的不断提升和业务对报表实时程度的不断提高,老一套的ETL即将被淘汰.

老板的一句一小时看到数据,意味着生命不止折腾不息。

现在的etl 通过多台etl机器来实现负载均衡.ods 层的结构和线上库结构一致.

ods层采用raid 多快独立的disk,多个HAB。对于读取速度特别慢的表采用复制对象+分区表技术来实现几百万数据几分钟装载.

详细见

http://www.cnblogs.com/xwj1985/archive/2010/08/19/1803272.html

对于异构数据库暂时只是小数据量的抽取.当数据量到一定程度可采取复制技术直接同步到ods层.

  兼职做了一段时间ETL,每次因业务需求新增减column 自动映射是个大难题。能做根据业务做成元数据库,来实现自动映射。是下阶段需要解决的问题.做好ETL前提是做好DBA。

 

 

 

 
排行榜 更多 +
打螺丝高手

打螺丝高手

模拟经营 下载
解救火柴人计划安卓版

解救火柴人计划安卓版

体育竞技 下载
鸡生化精英安卓版

鸡生化精英安卓版

飞行射击 下载