apache mesos联合创始人benjamin hindman:谈分布式应用现状 -九游会j9官网ag登录入口

摘要:目前分布式应用越来越普遍,而这股热潮似乎已涌入到数据中心管理领域。近日apache mesos联合创始人benjamin hindman撰文分析当前分布式应用的现状、开发者/运营者面临的困境及解决之道!

【编者按】 目前分布式应用越来越普遍,而这股热潮似乎也正在涌入到传统的数据中心管理领域。然而却不利于开发者/运营者,这是因为这些应用不再仅限于在一台服务器上工作,更多地会是在数据中心多个服务器之间进行工作。如此一来,加重了开发者/运营者的工作负担。近日,撰文,详细分析了现在分布式应用的现状、开发者/运营者面临的困境及解决之道!

译文如下:



现在有很多新型应用层出不穷,这些应用不再仅限于在一台服务器上工作,更多地会是在数据中心多个服务器之间进行工作。例如集群计算系统apache hadoop和apache spark,消息处理系统apache kafka,键值存储数据库系统apache cassandra等。这些新型应用都属于分布式应用,同样地为数据中心编写分布式系统也日渐变得流行起来。但是,要开发者编写分布式系统是困难的,运营分布式系统对运营人员来说也是是困难的。为什么呢?因为开发者和运营者往往容易被一个错误的概念误导了:机器。

一、发展瓶颈 机器是错误的抽象概念

对于创建和运行分布式应用,机器概念的存在不啻是个绊脚石。为开发者带来了多余的工作负担,从而使开发者受限于机器类特性,例如ip地址和本地存储。这使得移动和重设应用变得困难甚至无法进行,同时使得数据中心的维护工作变得痛苦和漫长。

机器概念会使运行者进行系统部署时,以最简单和保守的单机单应用的方式进行。这不利于资源优化,因为机器和应用彼此之间没有做到精确匹配,数据中心变得非常静态化和低延展性。

同时企业也不得不聘用大量人员为这些单应用机器进行大量的人工操作,而人在这过程中会逐渐成为新系统新应用的发展瓶颈。

数据中心operating system(以下简称os)正当其时

首先想象下以数据中心的方式来在个人电脑上运行程序。每当我们启动浏览器,我们不得不指定需要使用哪个cpu,需要寻址哪个内存模块等等。得益于强大的操作系统,我们都不必为这些而烦恼。

二、理想中的数据中心的操作系统应该是什么样的呢?

从运营者角度来说,数据中心os可管控数据中心的所有机器并把它们聚集成一个巨型资源池来运行程序。所有应用都可在任意可用机器上运行。

从开发者角度来说,数据中心os可作为应用和机器之间的中间件来运行,提供公共操作库来帮助和简化分布式应用的搭建。

它不需要直接替代用linux或其它常用的主机os,而应该是能够提供一个构建于主机os之上的软件堆栈,用于进行资源管理和进程隔离。

数据中心operating system api

该api将有助于分布式应用进行资源的分配和销毁,启动、监控、和销毁进程,等等。

基本操作示例

数据中心os的两个基本操作是服务探索和服务协调。不同于单主机只有相当少的应用需要知道在同一主机上运行了多少个应用,服务探索是分布式应用的基本需求。换句话说,分布式应用应具有高可用性和高容错能力。

这两个基本操作一方面简化了部署工作,另一方面也增强了可移植性。它使得无需重写代码来变更底层实施方式。

部署应用的新方式

数据中心os应提供一个软件接口来替代人工接口来与开发者进行交互,进行应用的部署工作。开发者借助数据中心os(例如cli或者gui)来执行应用,程序执行则借助数据中心os api。

这样的服务接口有助于分离运营者和用户的关注点:运营者为每个用户分配了具体的可用资源,用户可执行任意程序使用任意可用资源。由于大多数的分布式应用具有复杂的调度需求(例如apache hadoop)和特殊的错误修复需求(例如数据库),使用软件代替人工干预是对数据中心os来说是有决定性意义的。

“云”不是一个os

——我们为什么需要新的os呢?iaas和paas不是已经能解决这些问题吗?


iaas目前还仅着重于机器层面的操作,被设计用于进行人工操作,提供的是虚拟机的操作。它可使一个机器变成多个机器,但是没有提供能够帮助开发者进行分布式应用搭建的基本操作。

paas虽然脱离了机器层面,但是仍然着重的是人工操作。很多paas九游会j9官网ag登录入口的解决方案都含有很多间接服务和整合能帮助搭建分布式应用,但是不能实现与其它paas方案的可移植操作。

分布式系统的核心:apache mesos

是由加州大学伯克利分校的amplab首先开发的一款开源群集管理软件,其提供了一个便捷的api用来创建和运行分布式应用程序。目前已经有不少的分布式系统直接构建于mesos之上,包括:apache spark,apache aurora,airbnb’schronos以及mesosphere’s marathon。除此以外,还有多个流行系统与mesos相连运行于其之上,例如:apache hadoop,apache storm,google’s kubernetes等。twitter和airbnb等企业已经开始把mesos应用于数据中心的运营中。(推荐阅读:)

然而mesos还在发展中暂时不能算一个完全独立的数据中心os,现在还需要与其它分布式系统配合使用。从模块化的角度来说,以mesos为基础的数据中心os的构成是这样的:核心(mesos),分布式初始化脚本(marathon/aurora),计划任务工具(chronos)等。

ps:数据中心对操作系统的需求正在不断增加,但真正关于数据中心操作系统的开发仍然众说纷纭。 

英文出自:
  • 大小: 23.5 kb
来自:
0
0
评论 共 1 条 请登录后发表评论
1 楼 2014-12-10 09:29
不知所云。。。。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • apache mesos是一个群集管理器,可提供有效的资源隔离和跨分布式应用程序或框架的共享。 它可以在动态共享的节点池上运行hadoop,jenkins,spark,aurora和其他框架。 请访问访问我们。 邮件列表 () () 文献...

  • apache mesos网站 content目录包含可在为该站点部署的实际文件。 请不要手动编辑content目录中的任何文件。 有关如何更新content目录的说明,请参阅 。

  • mesos-python-examples apache mesos的python框架示例。

  • awesome-mesos:关于apache mesos的一切

  • 迷你游戏 apache mesos的实验和测试工具注意:不再维护! 网址: : 来源: : 邮件列表: 松弛: 文件: 推特: 影片mesoscon 2016丹佛-minimesos-apache mesos的实验和测试工具,作者:frank scholtenminimesos简介...

  • mesos用户界面 使用node.js,react.js构建的apache mesos响应式实时仪表板。单独使用,同时保留默认的mesos ui。 您可以通过docker以独立模式运行和部署此应用,例如: docker run -p 5000:5000 -e zookeeper_...

  • ansible-mesos群集ansible剧本,用于构建多节点apache mesos集群。集群配置在运行剧本之前,您需要在group_vars/all修改变量。 mesos_pkg_version是由mesos_pkg_version发布的debian软件包。 marathon_pkg_version是...

  • 本文将介绍数人科技基于mesos和docker的分布式计算平台的实践。针对“互联网 ”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准九游会j9官网ag登录入口的解决方案,如google已经在几千万台服务器上...

  • 流浪者一个用来玩 apache mesos 和 paas marathon 的流浪开发环境。 该框架由 ha 中的 duel mesos masters、四个 mesos slaves、一个私有托管的 docker register 和 jenkins docker build (hub101) 组成。 您可以在 ...

  • perl-mesos:apache mesos的perl绑定

  • apache mesos上的jboss wildfly 该项目的目标是提供使用单个命令在具有多个节点的域模式下运行jboss wildfly的mesos框架。 进展中的项目-即将推出我考虑使用wildfly swarm。

  • 阅读并注释mesos-1.2.0 apache开源分布式资源管理框架mesos原始代码注释分析,添加mesos_framework_demo,带详细注释相关参考资料: lxc原始代码分析参考: docker源码注释分析参考:

  • mesos是一个由apache基金会贡献给apache孵化器的分布式系统内核框架,用于管理集群资源,支持多种编程语言运行环境的应用程序部署、弹性扩展等功能。作为一种集群管理软件,mesos拥有完整的生命周期管理、资源隔离、...

  • 中观适用于lxc容器的apache mesos外部容器化器和执行器

  • 大规模数据处理与分布式任务调度是大数据领域中至关重要的技术之一。随着数据量的不断增长和数据处理需求的日益复杂,如何有效地管理和调度大规模数据成为了一个亟待解决的问题。在这个领域,采用合适的工具和技术...

  • 服务质量 mesos框架通过分布式遥测解决网络退化

  • mesos是apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。mesos最初是由加州大学伯克利分校的amplab开发的,后在twitter得到广泛使用。swarm是docker公司在2014年12月初新发布的容器管理工具。和...

  • paasta是一个高度可用的分布式系统,用于使用容器和apache mesos构建,部署和运行服务! 想更多地了解paasta为何与众不同的背后观点? 查看。 注意:paasta在yelp的生产环境中已经运行了很多年,并且在代码库中...

  • 在高可用性模式下运行 apache storm 0.9.3... docker 允许我们在 apache mesos 上部署任何版本的应用程序(在我们的例子中是 storm),同时隔离进程。 类似的方法可用于以高可用性模式在 apache mesos 上部署任何其他分

  • vb语言vb光盘管理系统设计(源代码 系统)本资源系百度网盘分享地址

global site tag (gtag.js) - google analytics
网站地图