文章详情

  • 游戏榜单
  • 软件榜单
关闭导航
热搜榜
热门下载
热门标签
php爱好者> 资讯>Twitter宣布开放实时计算系统Storm源代码

Twitter宣布开放实时计算系统Storm源代码

时间:2011-09-20  来源:cnblogs

  Twitter 在 Strange Loop 大会上公布分布式实时计算系统 Storm 的源代码,可以用于各种编程语言,弥补了 Hadoop 实时性的缺失,意义重大。

  据了解,Storm 代码来自于 Twitter 上月收购的 BackType,后来被 Twitter 收购用于 Twitter。业内普遍认为这是 Twitter 为方便用户解析数据所作出的努力。Twitter 首席工程师 Nathan Marz在博客上表示:“这是一件非常重大的事情,至少对使用大量数据的极客来说是如此,因为相比大多数企业,Twitter 要处理更多的实时数据。”除此之外,Nathan Marz 还指出 Storm 在业内有着相当广阔的使用前景,比如流处理、持续演算及远程处理命令等。

  现在,Storm 的发展势头相当强劲,Twitter 开发的相应工具已使其功能变得更加强大。Storm 类似于另一个开源数据操作平台 Hadoop,Storm 也可能成为一项重要业务。

  Twitter 列举了 Storm 的三大类应用:

  1. 信息流处理(Stream processing)

  Storm 可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。

  2. 连续计算(Continuous computation)

  Storm 可进行连续查询并把结果即时反馈给客户端。比如把 Twitter 上的热门话题发送到浏览器中。

  3. 分布式远程程序调用(Distributed RPC)

  Storm 可用来并行处理密集查询。Storm 的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。 举个例子 Distributed RPC 可以做并行搜索或者处理大集合的数据。

  项目网页:http://t.cn/adMiuD

  关于 Storm 的介绍 PPT:http://www.slideshare.net/nathanmarz/the-secrets-of-building-realtime-big-data-systems


  

相关阅读 更多 +
排行榜 更多 +
辰域智控app

辰域智控app

系统工具 下载
网医联盟app

网医联盟app

运动健身 下载
汇丰汇选App

汇丰汇选App

金融理财 下载