当前位置: 澳门新濠3559 > 服务器运维 > 正文

 云计算系统运用了许多技术澳门新濠3559,为对

时间:2019-11-22 14:55来源:服务器运维
何为云服务器 日前,浪潮在MWC2019上海携手合作伙伴成立5G实验室,并发布首款VCO(VirtualCentralOffice)整体解决方案。这是一种面向电信和分布式边缘云数据中心部署的多供应商NFV解决方案,被

何为云服务器

日前,浪潮在MWC2019上海携手合作伙伴成立5G实验室,并发布首款VCO(Virtual Central Office)整体解决方案。这是一种面向电信和分布式边缘云数据中心部署的多供应商NFV解决方案,被电信服务商广泛应用于小区、企业及移动服务。

Power8伴随云计算横空出世

  • 产生

            2006年谷歌推出了“Google 101计划”,并正式提出“云”的概念和理论。

    云计算思想的产生:

           传统模式下,企业建立一套IT系统不仅仅需要购买硬件等基础设施,还有买软件的许可证,需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说,计算机等硬件和软件本身并非他们真正需要的(需要的是服务,它们仅仅是完成工作、提供效率的工具而已。对个人来说,我们想正常使用电脑需要安装许多软件,而许多软件是收费的,对不经常使用该软件的用户来说购买是非常不划算的。可不可以有这样的服务,能够提供我们需要的所有软件供我们租用?这样我们只需要在用时付少量“租金”即可“租用”到这些软件服务,为我们节省许多购买软硬件的资金。举个例子,

             我们每天都要用电,但我们不是每家自备发电机,它由电厂集中提供;我们每天都要用自来水,但我们不是每家都有井,它由自来水厂集中提供。这种模式极大得节约了资源,方便了我们的生活。面对计算机给我们带来的困扰,我们可不可以像使用水和电一样使用计算机资源?这些想法最终导致了云计算的产生。

      云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。

     云计算系统运用了许多技术澳门新濠3559,为对密度及存储有高要求的客户提供了很好的解决方案。  云计算模式即为电厂集中供电模式。在云计算模式下,用户的计算机会变的十分简单,或许不大的内存、不需要硬盘和各种应用软件,就可以满足我们的需求,因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器” 和“主机”的电线无限长,从而可以把显示器放在使用者的面前,而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络,把“主机”变成云服务提供商的服务器集群。

         在云计算环境下,用户的使用观念也会发生彻底的变化:从“购买产品”到“购买服务”转变,因为他们直接面对的将不再是复杂的硬件和软件,而是最终的服务。用户不需要拥有看得见、摸得着的硬件设施,也不需要为机房支付设备供电、空调制冷、专人维护等等费用,并且不需要等待漫长的供货周期、项目实施等冗长的时间,只需要把钱汇给云计算服务提供商,我们将会马上得到需要的服务。

  • 云计算的概念

      云计算将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。通俗的理解是,云计算的“云“就是存在于互联网上的服务器集群上的资源,它包括硬件资源(服务器、存储器、CPU等)和软件资源(如应用软件、集成开发环境等),本地计算机只需要通过互联网发送一个需求信息,远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机,这样,本地计算机几乎不需要做什么,所有的处理都在云计算提供商所提供的计算机群来完成。

  • 澳门新濠3559,云计算的核心技术    

云计算是把企业需要处理的业务数据通过云服务器来完成而非实体服务器。云服务器可能够胜任密集型虚拟化和可扩展应用数据库的应用程序。那么对于云服务器来说都有哪些特性呢?

此次发布的解决方案以浪潮1U双路服务器NF5180M5构建服务器集群,采用智邦的开放网络交换机,以及Kaloom的Software Defined FabricTM和Cloud Edge FabricTM、再加上Red Hat的OpenStack及OpenShift平台共同搭载完成。

 

   云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算         平台管理技术最为关键。

1,拥有运算性能超强多核处理器

浪潮携手合作伙伴发布首款VCO整体解决方案

自从IBM将并不赚钱的x86服务器业务转手给联想之后,从此IBM便开始了硬件转型的新里程碑。伴随此事继续发酵的还有Power System Linux落户北京,从此IBM硬件开放之路的步伐越迈越大。最鼓舞人心的要数OpenPower联盟推出的Power8芯片全面开放这一消息,大家纷纷猜测蓝色巨人真的能放下身段?下面我带领大家一起见证Power8芯片的巨变。

  (1)编程模型

服务器在我们的印象中性能是非常强大的,当然强大的根源之一就在于其拥有超强运算性能的处理器。它不仅运行频率较高,而且有较多内核数,例如戴尔的PowerEdge R820服务器,采用了4颗频率高达2.6GHz的6核至强E5-2600处理器,CPU的内核总数更是达到了24个!这样就为虚拟化提供了强大的运算支持,可以轻松的应对云计算。

近年来,数据中心服务器数量增多,规模日益变大,如何提高空间利用率成为无法绕过的难题。金融、通信、能源等行业正在经历着云化转型升级,虚拟化、大数据等技术的深入应用,对数据中心提出了更高的要求,选择服务器的标准越来越聚焦于服务器每U空间内是否拥有更强计算力、更灵活的网络结构、更低功耗、更易管理等特性。

 

  MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。

2,超大容量的内存

浪潮NF5180M5是专门面向云计算、大数据、虚拟化等应用推出的基于第二代英特尔 至强 可扩展处理器设计的1U双路机架式服务器,满足高网络带宽、高计算性能、大内存容量的业务要求。同时,为对密度及存储有高要求的客户提供了很好的解决方案,特别适合对服务器有苛刻要求的云计算、CDN缓存、SDS/HCI、HPC等应用场景,为商业智能、金融服务、公有云及私有云等提供强劲计算力。

一、Power8开放意义深远

  (2) 海量数据分布存储技术

对于云服务器来说,处理器的内核越多,在虚拟机上可以虚拟出数目更多、性能更强的服务器。因此,为了保障所有的虚拟服务器能够快速运行,还需要大量的内存支持。在云服务器中,常常可以安装容量高达几百GB甚至上TB的内存,这样就为云计算提供强大的内存支持。可以试想一下,仅管云端的服务器是虚拟的,但是性能仍然强于一些中低端的实体服务器。而云计算的成本相对实体服务器来说可就是有着绝对的优势了。

澳门新濠3559 1

IBM或许是从ARM开放处理器使用许可,在移动领域取得成功中得到启示,OpenPower联盟推出的Power8,同样开放Power处理器知识产权使用许可,允许联盟成员自由选择IBM等合作晶圆厂家这比Intel更加开放。IBM此举意味着从专有标准走向开放创新,中国企业可以在Power 8架构基础上进行自主创新,并可申请自主知识产权,根据OpenPower联盟的要求,Power8取消了原先设计安全模块,可接受我国安全审查,并将加载国产的安全模块从而能用于到关键应用,这种开放力度空前,使得Power8让中国企业有机会利用OpenPower芯片技术拉近与国际顶级芯片厂商的技术差距。今后一提到Power服务器不再是小型机的代名词,以后将会有基于Power芯片的国产服务器上市。

  云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

3,超高容量的存储

浪潮1U双路服务器NF5180M5

 

  GFS即Google文件系统(Google File System),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

我们可以用一句经典话来形容云服务器:你不是一个人在战斗!诚然,在强大的处理器和超高容量的内存下,一台服务器可以运行数个虚拟应用,而硬盘对于服务器来说依然是最重要的存储设备。为了保证云计算机中的每一台虚拟服务器都有足够的存储空间,云服务器还有个特点,那就是超多的硬盘位,并且为了增加硬盘的数目,还使用了尺寸比较小的2.5寸硬盘,这样整个云服务器便有了数TB的高容量存储,也为虚拟服务器的应用提供了存储容量的保证。

作为缓存服务器 更快反应速度

二、Power8以一当十

  一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。

澳门新濠3559 2

在虚拟化和云计算等应用场景中,1U服务器往往被用作缓存服务器,用于存放需要频繁访问的内容,这就需要更大容量,更快访问速度。考虑到这种需求,NF5180M5相比其他传统1U双路服务器,在前置4个3.5寸SATA硬盘的同时,独家设计支持2个SSD硬盘。这两个SSD硬盘可以作为虚拟化和云服务的数据缓存,提高作为缓存服务器的效率和访问速度。

由OpenPOWER 联盟宣布首批创新成果正式发布的全新 IBM POWER8 处理器。它是 OpenPOWER 联盟的首代处理器产品,其设计思路将决定协处理器、加速器、内存、主板、服务器整机等产品的目标市场首先是大规模云计算和互联网数据中心市场。

  客户与主服务器的交换只限于对元数据的操作,所有数据方面的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服务器负载过重。

价格相对低廉的塔式服务器将成为企业内部应用的新选择

浪潮NF5180M5内视图

Power8采用22nm生产工艺,4GHZ主频,最多12核,每核达8线程,最高支持 96 个线程,四级缓存容量达到 128MB(充当每个内核的数据缓存使用)。

  (3) 海量数据管理技术

云计算,服务器该走向何处?

此外,NF5180M5基于第二代英特尔 至强 可扩展处理器打造,超高计算密度,单CPU最高拥有28个内核及56线程,24条DDR4内存,拥有更快反应速度。

那么“12核+96线程+1TB内存”将为Power8服务器带来多大的爆发力呢?相比Power7来说,单线程性能最大能提升60%。POWER8还采用了 IBM 独有的 CAPI 总线(一致性加速器处理接口),可以让外设直接访问 CPU 的内存空间,从而大大提高了外设的运行效率,即便是Intel最新处理器Xeon E7v2也只能对此望洋兴叹了。

  云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。

随着业务量的不断增长,传统的服务器性能捉襟见肘,加上服务器的长期不间断运行,设备的老化情况也比较突出。那么对于业务的发展该如何进行呢?传统方式一般都是购买或增加新的服务器来应对不断增长的业务量,而新服务器的购买、托管机房机位的增加、多路Internet的接入的费用也是水涨船高。而云计算则可以打消用户的忧虑。得益于云服务器的发展,企业再也不用花费巨额的资金来购买新的服务器和托管机房的机位,而且云计算机的年租金也非常便宜,因此企业将会从中直接受益,当然企业也可以购买高性能的云服务器,用来升级和扩展实体服务器,从而实现小投入大收益。

灵活高效 更快网络速度

澳门新濠3559 3

  BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一个大型的分布式数据库,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据。

借助网络和强大的云服务器,不大量的减少了实体服务器的数目,不仅为企业节省下了购买新服务器和用于服务器托管以及多线Internet接入的费用。而且还降低了机房的降温措施的费用和电费,从而还实现了节能减排。不过云计算也似乎并不是完美的,因为大量的虚拟服务器的存在,所以云服务器的容灾备份就显得格外重要,并且对于操作和维护人员也提出了更高的技术要求。因此,在云计算时代云服务器将会集中于各大数据中心,而企业内部应用则更偏向于价格相对低廉的塔式服务器或者微型服务器。

大数据和虚拟化等应用场景对网络带宽要求越来越高,需要服务器拥有更高的传输速率,更灵活的网络结构。NF5180M5支持OCP网卡,由于OCP直接通过PCIE总线与CPU相连,比传统板载网卡通过PCH传输数据效率更高,且 OCP网卡使用类似于PCIE卡的方式,使配置更灵活,更易维护。

图1 Power8芯片

  Google的很多项目使用BT来存储数据,包括网页查询,Google earth和Google金融。这些应用程序对BT的要求各不相同:数据大小(从URL到网页到卫星图象)不同,反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求,BT都成功的提供了灵活高效的服务。

云计算是把企业需要处理的业务数据通过云服务器来完成而非实体服务器。云服务器可能够胜任密集型虚拟化和可扩展应用数...

NF5180M5可支持OCP和PHY网卡自由切换,提供1G、10G、25G、40G多种网络接口选择,为应用提供更加灵活的网络结构。

Power8 性能强大的另一个杀手锏SMT并发多线程技术,这是IBM 从Power5芯片开始实现的新技术,它支持一个CPU内核同时处理多条指令,因此可以最高达到单一CPU几倍的处理速度。

  (4)虚拟化技术

智慧管理 降低功耗成本

 

  通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。

随着数据中心规模不断扩大,服务器往往进行集群部署,是否能够简化运维、降低功耗成本成为众多用户在选择服务器时的考虑因素。NF5180M5搭载 Inspur BMC(浪潮服务器管理控制单元),独立于服务器及其操作系统,通过带外方式监控服务器传感器状态、开关机和重启、访问BIOS配置或操作系统控制台信息、虚拟媒体加载。管理员可以通过Web方式进行远程管理,或通过IPMI、SNMP、Redfish、Smash CLI方式进行通讯,同时还拥有BMC双镜像、RAID配置、故障诊断、HTML5实用功能,使整个带外管理过程轻松方便。

下面我们采用的IBM S系列服务器采用了双路,每CPU10 Core的服务器进行性能测试。也就是这台服务器总数达到160线程,而对于Openstack而言每线程都看做1CPU。我们看一下htop的显示结果。

  (5)云计算平台管理技术

澳门新濠3559 4

澳门新濠3559 5

  云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战。

浪潮NF5180M5后视图

图2 160线程

  云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。

全新的功耗管理技术可帮助用户对系统功耗进行精确的实时监测和控制,配合Node manager 4.0技术可以有效进行全面能耗管控,进一步提高整体IT架构的能效表现。防回流设计能够有效降低系统散热功耗,风扇智能调速、CPU智能调频等技术保障了机器使用过程中在最大程度上降低能耗成本。

注意,如果是双路顶配每台服务器可多达到96 x 2=192线程,那么2米高的机架(42U)可以安装10台这样的服务器,所以非常适合高性能计算和数据密集型计算应用。Power8对开源编译工具GCC也能够完美支持。为什么有如此强悍的性能,再为大家介绍一些基础内容。

  • 云计算的典型应用

NF5180M5是浪潮推出的M5系列服务器中的1U双路产品系列,浪潮M5新一代服务器遵循极致、弹性、智能、开放四大设计理念,面向智慧时代多样化应用场景需求,为云计算、大数据和人工智能应用的智慧计算提供强大的基础支撑。

澳门新濠3559 6

云计算的5大应用场景:

1.电子邮件

作为最为流行的通信服务,电子邮箱的不断演变,为人们提供了更快和更可靠的交流方式。传统的电子邮箱使用物理内存来存储通信数据,而云计算使得电子邮箱可以使用云端的资源来检查和发送邮件,用户可以在任何地点、任何设备和任何时间访问自己的邮件,企业可以使用云技术让它们的邮箱服务系统变得更加稳固。

  1. 数据存储

云计算的出现,使本地存储变得不再必需。用户可以将所需要的文件、数据存储在互联网上的某个地方,以便随时随地访问。来自云服务商的各种在线存储服务,将会为用户提供广泛的产品选择和独有的安全保障,使其能够在免费和专属方案之间自由选择。

  1. 商务合作

共享式的商务合作模式,使得企业可以无视消耗大量时间和金钱的系统设备和软件,只需接入云端的应用,便可以邀请伙伴展开相应业务,这种类似于即时通信的应用,一般都会为用户提供特定的工作环境,协作时长可以从几个月到几个小时不等。总之,一切为用户需求而打造。

  1. 虚拟办公

对于云计算来说,最常见的应用场景可能就是让企业主“租”服务而不是“买”软件来开展业务部署。除了Google Docs这一最受欢迎的虚拟办公系统,还有很多其他的解决方案,如Thinkfree和微软Office Live等。使用虚拟办公应用的主要好处是,它不会因为“个头太大”而导致你的设备“超载”,它将企业的关注点集中在公司业务上,通过改进的可访问性,为轻量办公提供保证。

  1. 业务扩展

在你的企业需要进行业务拓展时,云计算的独特好处便显现出来了。基于云的解决方案,可以使企业以较小的额外成本,获得计算能力的弹性提升。大部分云服务商,都可以满足用户的定制化需求,企业完全可以根据现有业务容量来决定所需要投资的计算成本,而无须对未来的扩张有所顾虑。

云计算技术发展面临的主要问题

    尽管云计算模式具有许多优点,但是也存在的一些问题,如数据隐私问题、安全问题、软件许可证问题、网络传输问题等。

  · 数据隐私问题:如何保证存放在云服务提供商的数据隐私,不被非法利用,不仅需要技术的改进,也需要法律的进一步完善。

  · 数据安全性:有些数据是企业的商业机密,数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会影响云计算在企业中的应用。

  · 用户使用习惯:如何改变用户的使用习惯,使用户适应网络化的软硬件应用是长期而艰巨的挑战。

  · 网络传输问题:云计算服务依赖网络,目前网速低且不稳定,使云应用的性能不高。云计算的普及依赖网络技术的发展。

 

 

图3 

云计算技术的产生、概念、原理、应用和前景

 

  2006年谷歌推出了“Google 101计划”,并正式提出“云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM等公司都宣布了自己的“云计划”,云安全、云存储、内部云、外部云、公共云、私有云……一堆让人眼花缭乱的概念在不断冲击人们的神经。那么到底什么是云计算技术呢?对云计算技术的产生、概念、原理、应用和前景又在哪里?

  一、云计算思想的产生

  传统模式下,企业建立一套IT系统不仅仅需要购买硬件等基础设施,还有买软件的许可证,需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说,计算机等硬件和软件本身并非他们真正需要的,它们仅仅是完成工作、提供效率的工具而已。对个人来说,我们想正常使用电脑需要安装许多软件,而许多软件是收费的,对不经常使用该软件的用户来说购买是非常不划算的。可不可以有这样的服务,能够提供我们需要的所有软件供我们租用?这样我们只需要在用时付少量“租金”即可“租用”到这些软件服务,为我们节省许多购买软硬件的资金。

  我们每天都要用电,但我们不是每家自备发电机,它由电厂集中提供;我们每天都要用自来水,但我们不是每家都有井,它由自来水厂集中提供。这种模式极大得节约了资源,方便了我们的生活。面对计算机给我们带来的困扰,我们可不可以像使用水和电一样使用计算机资源?这些想法最终导致了云计算的产生。

  云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。

  云计算模式即为电厂集中供电模式。在云计算模式下,用户的计算机会变的十分简单,或许不大的内存、不需要硬盘和各种应用软件,就可以满足我们的需求,因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器” 和“主机”的电线无限长,从而可以把显示器放在使用者的面前,而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络,把“主机”变成云服务提供商的服务器集群。

  在云计算环境下,用户的使用观念也会发生彻底的变化:从“购买产品”到“购买服务”转变,因为他们直接面对的将不再是复杂的硬件和软件,而是最终的服务。用户不需要拥有看得见、摸得着的硬件设施,也不需要为机房支付设备供电、空调制冷、专人维护等等费用,并且不需要等待漫长的供货周期、项目实施等冗长的时间,只需要把钱汇给云计算服务提供商,我们将会马上得到需要的服务。

  二、云计算的概念

  云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)发展来的,是一种新兴的商业计算模型。目前,对于云计算的认识在不断的发展变化,云计算没仍没有普遍一致的定义。

  中国网格计算、云计算专家刘鹏给出如下定义 :“云计算将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务”。

  狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机,以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务,比如亚马逊数据仓库出租生意。

  广义的云计算指厂商通过建立网络服务器集群,向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。广义的云计算包括了更多的厂商和服务类型,例如国内用友、金蝶等管理软件厂商推出的在线财务软件,谷歌发布的Google应用程序套装等。

  通俗的理解是,云计算的“云“就是存在于互联网上的服务器集群上的资源,它包括硬件资源(服务器、存储器、CPU等)和软件资源(如应用软件、集成开发环境等),本地计算机只需要通过互联网发送一个需求信息,远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机,这样,本地计算机几乎不需要做什么,所有的处理都在云计算提供商所提供的计算机群来完成。

  三、云计算的主要服务形式和典型应用

  云计算还处于萌芽阶段,有庞杂的各类厂商在开发不同的云计算服务。云计算的表现形式多种多样,简单的云计算在人们日常网络应用中随处可见,比如腾讯QQ空间提供的在线制作Flash图片,Google的搜索服务,Google Doc, Google Apps等。目前,云计算的主要服务形式有:SaaS(Software as a Service), PaaS(Platform as a Service), IaaS(Infrastructure as a Service)。

  (1)软件即服务(SaaS)

  SaaS服务提供商将应用软件统一部署在自己的服务器上,用户根据需求通过互联网向厂商订购应用软件服务,服务提供商根据客户所定软件的数量、时间的长短等因素收费,并且通过浏览器向客户提供软件的模式。这种服务模式的优势是,由服务提供商维护和管理软件、提供软件运行的硬件设施,用户只需拥有能够接入互联网的终端,即可随时随地使用软件。这种模式下,客户不再像传统模式那样花费大量资金在硬件、软件、维护人员,只需要支出一定的租赁服务费用,通过互联网就可以享受到相应的硬件、软件和维护服务,这是网络应用最具效益的营运模式。对于小型企业来说,SaaS是采用先进技术的最好途径。

  以企业管理软件来说,SaaS模式的云计算ERP可以让客户根据并发用户数量、所用功能多少、数据存储容量、使用时间长短等因素不同组合按需支付服务费用,既不用支付软件许可费用,也不需要支付采购服务器等硬件设备费用,也不需要支付购买操作系统、数据库等平台软件费用,也不用承担软件项目定制、开发、实施费用,也不需要承担IT维护部门开支费用,实际上云计算ERP正是继承了开源ERP免许可费用只收服务费用的最重要特征,是突出了服务的ERP产品。

  目前,Salesforce.com是提供这类服务最有名的公司,Google Doc, Google Apps和Zoho Office也属于这类服务。

  (2)平台即服务(PaaS)

  把开发环境作为一种服务来提供。这是一种分布式平台服务,厂商提供开发环境、服务器平台、硬件资源等服务给客户,用户在其平台基础上定制开发自己的应用程序并通过其服务器和互联网传递给其他客户。PaaS能够给企业或个人提供研发的中间件平台,提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。

  Google App Engine, Salesforce的force.com平台,八百客的800APP是PaaS的代表产品。以Google App Engine为例,它是一个由python应用服务器群、BigTable数据库及GFS组成的平台,为开发者提供一体化主机服务器及可自动升级的在线应用服务。用户编写应用程序并在Google的基础架构上运行就可以为互联网用户提供服务,Google提供应用运行及维护所需要的平台资源。

  (3)基础设施服务(IaaS)

  IaaS即把厂商的由多台服务器组成的“云端”基础设施,作为计量服务提供给客户。它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方式,用户付费使用厂商的硬件设施。例如Amazon Web服务(AWS), IBM的BlueCloud等均是将基础设施作为服务出租。

  IaaS的优点是用户只需低成本硬件,按需租用相应计算能力和存储能力,大大降低了用户在硬件上的开销。

  目前,以Google云应用最具代表性,例如GoogleDocs、GoogleApps、Googlesites,云计算应用平台GoogleApp Engine。

  GoogleDocs是最早推出的云计算应用,是软件即服务思想的典型应用。它是类似于微软的Office的在线办公软件。它可以处理和搜索文档、表格、幻灯片,并可以通过网络和他人分享并设置共享权限。Google文件是基于网络的文字处理和电子表格程序,可提高协作效率,多名用户可同时在线更改文件,并可以实时看到其他成员所作的编辑。用户只需一台接入互联网的计算机和可以使用Google文件的标准浏览器即可在线创建和管理、实时协作、权限管理、共享、搜索能力、修订历史记录功能,以及随时随地访问的特性,大大提高了文件操作的共享和协同能力。

  GoogleAPPs是Google企业应用套件,使用户能够处理日渐庞大的信息量,随时随地保持联系,并可与其他同事、客户和合作伙伴进行沟通、共享和协作。它集成了Cmail、GoogleTalk、Google日历、GoogleDocs、以及最新推出的云应用GoogleSites、API扩展以及一些管理功能,包含了通信、协作与发布、管理服务三方面的应用,并且拥有着云计算的特性,能够更好的实现随时随地协同共享。另外,它还具有低成本的优势和托管的便捷,用户无需自己维护和管理搭建的协同共享平台。

  Googlesites是Google最新发布的云计算应用,作为GoogleApps的一个组件出现。它是一个侧重于团队协作的网站编辑工具,可利用它创建一个各种类型的团队网站,通过Googlesites可将所有类型的文件包括文档、视频、相片、日历及附件等与好友、团队或整个网络分享。

  Google AppEngine是Google在2008年4月发布的一个平台,使用户可以在Google的基础架构上开发和部署运行自己的应用程序。目前,Google AppEngine支持Python语言和Java语言,每个Google AppEngine应用程序可以使用达到500MB的持久存储空间及可支持每月500万综合浏览量的带宽和CPU。并且,Google AppEngine应用程序易于构建和维护,并可根据用户的访问量和数据存储需要的增长轻松扩展。同时,用户的应用可以和Google的应用程序集成,Google AppEngine还推出了软件开发套件(SDK),包括可以在用户本地计算机上模拟所有Google AppEngine服务的网络服务器应用程序。

  四、云计算的核心技术

  云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。

  (1)编程模型

  MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。

  (2) 海量数据分布存储技术

  云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

  GFS即Google文件系统(Google File System),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

  一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。

  客户与主服务器的交换只限于对元数据的操作,所有数据方面的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服务器负载过重。

  (3) 海量数据管理技术

  云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。

  BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一个大型的分布式数据库,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据。

  Google的很多项目使用BT来存储数据,包括网页查询,Google earth和Google金融。这些应用程序对BT的要求各不相同:数据大小(从URL到网页到卫星图象)不同,反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求,BT都成功的提供了灵活高效的服务。

  (4)虚拟化技术

  通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。

  (5)云计算平台管理技术

  云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战。

  云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。

  五、典型云计算平台介绍

  由于云计算技术范围很广,目前各大IT企业提供的云计算服务主要根据自身的特点和优势实现的。下面以Google、IBM、Amazon为例说明:

  (1)Google 的云计算平台

  Google的硬件条件优势,大型的数据中心、搜索引擎的支柱应用,促进Google云计算迅速发展。Google的云计算主要由MapReduce、Google文件系统(GFS)、BigTable组成。它们是Google内部云计算基础平台的3个主要部分。Google 还构建其他云计算组件,包括一个领域描述语言以及分布式锁服务机制等。Sawzall是一种建立在MapReduce基础上的领域语言,专门用于大规模的信息处理。Chubby是一个高可用、分布式数据锁服务,当有机器失效时,Chubby使用Paxos算法来保证备份。

  (2)IBM“蓝云”计算平台

  “蓝云”解决方案是由IBM云计算中心开发的企业级云计算解决方案。该解决方案可以对企业现有的基础架构进行整合,通过虚拟化技术和自动化技术,构建企业自己拥有的云计算中心,实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份,打破应用对资源的独占,从而帮助企业实现云计算理念。

  IBM 的“蓝云”计算平台是一套软、硬件平台,将Internet上使用的技术扩展到企业平台上,使得数据中心使用类似于互联网的计算环境。“蓝云”大量使用了IBM先进的大规模计算技术,结合了IBM自身的软、硬件系统以及服务技术,支持开放标准与开放源代码软件。

  “蓝云”基于IBM Almaden研究中心的云基础架构,采用了Xen和PowerVM虚拟化软件,Linux操作系统映像以及Hadoop软件(Google File System以及MapReduce的开源实现)。IBM已经正式推出了基于x86芯片服务器系统的“蓝云”产品。下图为IBM “蓝云”的架构:

澳门新濠3559 7

  由图可知,“蓝云”计算平台由一个数据中心、IBM Tivoli部署管理软件(Tivoli provisioning manager)、IBM Tivoli监控软件(IBM Tivoli monitoring)、IBM WebSphere应用服务器、IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成。“蓝云”的硬件平台环境与一般的x86服务器集群类似,使用刀片的方式增加了计算密度。“蓝云”软件平台的特点主要体现在虚拟机以及对于大规模数据处理软件Apache Hadoop的使用上。

  “蓝云”平台的一个重要特点是虚拟化技术的使用。虚拟化的方式在“蓝云”中有两个级别,一个是在硬件级别上实现虚拟化,另一个是通过开源软件实现虚拟化。硬件级别的虚拟化可以使用IBM p系列的服务器,获得硬件的逻辑分区LPAR(logic partition)。逻辑分区的CPU资源能够通过IBM Enterprise Workload Manager来管理。通过这样的方式加上在实际使用过程中的资源分配策略,能够使相应的资源合理地分配到各个逻辑分区。p系列系统的逻辑分区最小粒度是1/10颗CPU。Xen则是软件级别上的虚拟化,能够在Linux基础上运行另外一个操作系统。

  虚拟机是一类特殊的软件,能够完全模拟硬件的执行,运行不经修改的完整的操作系统,保留了一整套运行环境语义。通过虚拟机的方式,在云计算平台上获得如下一些优点 :

  1)云计算的管理平台能够动态地将计算平台定位到所需要的物理节点上, 而无须停止运行在虚拟机平台上的应用程序,进程迁移方法更加灵活;

  2)降低集群电能消耗,将多个负载不是很重的虚拟机计算节点合并到同一个物理节点上,从而能够关闭空闲的物理节点,达到节约电能的目的;

  3)通过虚拟机在不同物理节点上的动态迁移,迁移了整体的虚拟运行环境,能够获得与应用无关的负载平衡性能;

  4)在部署上也更加灵活,即可以将虚拟机直接部署到物理计算平台上,而虚拟机本身就包括了相应的操作系统以及相应的应用软件,直接将大量的虚拟机映像复制到对应的物理节点即可。

  “蓝云”计算平台中的存储体系结构:“蓝云”计算平台中的存储体系结构对于云计算来说也是非常重要的,无论是操作系统、服务程序还是用户的应用程序的数据都保存在存储体系中。“蓝云”存储体系结构包含类似于Google File System 的集群文件系统以及基于块设备方式的存储区域网络SAN。

  在设计云计算平台的存储体系结构时,可以通过组合多个磁盘获得很大的磁盘容量。相对于磁盘的容量,在云计算平台的存储中,磁盘数据的读写速度是一个更重要的问题,因此需要对多个磁盘进行同时读写。这种方式要求将数据分配到多个节点的多个磁盘当中。为达到这一目的,存储技术有两个选择,一个是使用类似于Google File System的集群文件系统,另一个是基于块设备的存储区域网络SAN系统。

  在蓝云计算平台上,SAN 系统与分布式文件系统(例如Google File System)并不是相互对立的系统,SAN提供的是块设备接口,需要在此基础上构建文件系统,才能被上层应用程序所使用。而Google File System正好是一个分布式的文件系统,能够建立在SAN之上。两者都能提供可靠性、可扩展性,至于如何使用还需要由建立在云计算平台上的应用程序来决定,这也体现了计算平台与上层应用相互协作的关系。

  (3)Amazon的弹性计算云

  Amazon是互联网上最大的在线零售商,为了应付交易高峰,不得不购买了大量的服务器。而在大多数时间,大部分服务器闲置,造成了很大的浪费,为了合理利用空闲服务器,Amazon建立了自己的云计算平台弹性计算云EC2(elastic compute cloud),并且是第一家将基础设施作为服务出售的公司。

  Amazon将自己的弹性计算云建立在公司内部的大规模集群计算的平台上,而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例(instance)。用户使用实例的付费方式由用户的使用状况决定,即用户只需为自己所使用的计算平台实例付费,运行结束后计费也随之结束。这里所说的实例即是由用户控制的完整的虚拟机运行实例。通过这种方式,用户不必自己去建立云计算平台,节省了设备与维护费用。

澳门新濠3559 8

  上图为EC2系统的使用模式。从图中可以看出,弹性计算云用户使用客户端通过SOAP over HTTPS协议与Amazon弹性计算云内部的实例进行交互。这样,弹性计算云平台为用户或者开发人员提供了一个虚拟的集群环境,在用户具有充分灵活性的同时,也减轻了云计算平台拥有者(Amazon公司)的管理负担。弹性计算云中的每一个实例代表一个运行中的虚拟机。用户对自己的虚拟机具有完整的访问权限,包括针对此虚拟机操作系统的管理员权限。虚拟机的收费也是根据虚拟机的能力进行费用计算的,实际上,用户租用的是虚拟的计算能力。

  总而言之,Amazon通过提供弹性计算云,满足了小规模软件开发人员对集群系统的需求,减小了维护负担。其收费方式相对简单明了:用户使用多少资源,只需为这一部分资源付费即可。

  为了弹性计算云的进一步发展,Amazon规划了如何在云计算平台基础上帮助用户开发网络化的应用程序。除了网络零售业务以外,云计算也是Amazon公司的核心价值所在。Amazon将来会在弹性计算云的平台基础上添加更多的网络服务组件模块,为用户构建云计算应用提供方便。

  六、云计算技术发展面临的主要问题

  尽管云计算模式具有许多优点,但是也存在的一些问题,如数据隐私问题、安全问题、软件许可证问题、网络传输问题等。

  · 数据隐私问题:如何保证存放在云服务提供商的数据隐私,不被非法利用,不仅需要技术的改进,也需要法律的进一步完善。

  · 数据安全性:有些数据是企业的商业机密,数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会影响云计算在企业中的应用。

  · 用户使用习惯:如何改变用户的使用习惯,使用户适应网络化的软硬件应用是长期而艰巨的挑战。

  · 网络传输问题:云计算服务依赖网络,目前网速低且不稳定,使云应用的性能不高。云计算的普及依赖网络技术的发展。

 

大家知道,CPU通常使是流水线方式(每一时间点只能执行一条指令),在X86平台某个时间点执行占据运算器的只有一条指令,其他并行的指令处于解码、寻址等状态,大部分寄存器实际上处于闲置。那么Power8中新加入的特性SMT8,就表示一个Core可以处理8个线程的指令,相比X86的单核双线程,Power8中单核理论上是它的四倍,所以PowerKVM在这种并发多线程技术的支撑下可以得到优于x86平台的性能。

澳门新濠3559 9

图4 Power8服务器整体性能以一当十

一台高效利用的 POWER8 服务器可以取代 10 台甚至更多台 x86 服务器(按照业内平均利用率计算)。这样你虚无建设大规模数据中心,甚至采用移动数据中心就可以向用户提供数据计算服务,我公司很早就开始要求企业各部门推广节能减排,坚持走低碳环保的路线。从利用率和经济性上,以一当十的超强Power8 服务器 IBM Power Systems S很大程度降低了数据中心占地空间,相比之下,节省了70%的机架空间,80%的网络连接以及70%的系统管理数量,降低了企业电力和冷却等方面的成本,这可是一笔不小的开销啊,例如一个拥有500台服务器的数据中心,服务器每年电费达到200万元,而用于服务器制冷的空调设备等设施耗电量几乎等同于服务器本身的耗电,这样每年数据中心的电费将达到400万元,日益增加的耗电量,意味着有更多的碳排放量和更大的环境污染。

 

三、Power8-为云而生

云计算技术通过对计算资源的虚拟化来对资源进行整合,提高资源利用率和可管理性,但是对这种异构性的计算能力进行整合。

这款Power8处理器,是OpenPOWER 联盟专门为 Linux用户打造,除了能支持AIX系统以外,还支持主流Linux发行厂家Red Hat和Suse的Linux发行版:RHEL 6.5/7、Fedora 20、SLES11/12、Ubuntu 14,而且RedHat全面转向云计算发布了自己的Red Hat Enterprise Linux OpenStack 平台,Suse也发布了完整的OpenStak方案-Suse Cloud,因为这是专门针对OpenStack的发行版,可以直接安装在Power8服务器,Power8服务器对Openstack 进行了专门的优化。

 

四、Power8虚拟化技术

大家所熟知的KVM(基于内核的虚拟机)虚拟化技术如今已经添加到Power8处理器架构,相对于 Xen 虚拟化技术,KVM 虚拟化技术与 Linux 内核联系更为紧密,更容易维护。IBM针对Power8处理器对KVM进行了深度优化,用户在PowerKVM服务器所支持IPMI2.0协议,可、采用ipmitool远程管理服务器,这就是PowerKVM。

澳门新濠3559 10

图5 PowerKVM 工作流程

 基于Power8的服务器上使用PowerKVM技术可以深度挖掘Power8的多线程性能,为了方便大家理解,我举个例子,假设服务器上面只有一个物理CPU核,4个虚拟机,各虚拟机在微核模式下工作,采用微核模式后,4个虚拟机可同时被分配至一个物理CPU核,每个虚拟机可以确保获得物理核四分之一的处理能力而不受其它虚拟机的影响。当虚拟机数量远远超过物理CPU核(CPU过载),微核应该会比整核性能要好。实际应用中,在虚拟机大量过载的情况下,无论是虚拟机加满压力还是加半压力,整核模式性能大幅下降而微核模式性能则不下降或平缓下降。微核使得PowerKVM能够在性能损失不明显的前提下,运行更多的虚拟机承载用户的业务。

 我们知道在私有云平台的体系架构中, OpenStack 依赖一些底层软件,如虚拟化软件,虚拟化管理软件和 Linux 内核。这些软件的稳定性以及性能关系着整个云平台的稳定性和性能。IBM开发了PowerKVM,这一系统性能稳定,操作简单方便,它使用了一种基于 HTML5 的 KVM 管理工具 Kimchi对它进行管理。

澳门新濠3559 11

图6PowerKVM工作截图

 RedHat、SUSE与IBM在企业级虚拟化方面的新合作,使运行在Power系统上的企业组织可以虚拟化他们的核心任务,并在它们基于OpenStack发行版中都支持PowerKVM技术。

 

五、IBM对OpenStack贡献

 我们知道OpenStack是由NASA和RackSpace联合发起,以Apache许可证授权的开源项目,支持所有类型的云环境,并取得了IBM、Redhat、HP、Intel、AMD、Dell、Cisco等重量级公司的支持,那么从代码贡献(从共享OpenStack代码数量看,IBM要略逊与HP和Redhat)、推广力度贡献(包括各种OpenStack会议的赞助)和文档资料贡献综合比较IBM,在综合比较上看要领先其他厂商,IBM放弃SmartCloud,而将整个公司的方向转移到OpenStack上,这就是最有利的证明。

 

六、Power应用优势

笔者的公司属于勘察设计、工程设备和零部件制造等业务为一体的特大型企业集团运营的IT系统是一个典型的大数据处理系统,前年开发了基于 OpenStack云计算管理平台(包括云桌面平台),应用效果良好,下面总结了该套OpenStack 的运维平台及云桌面服务平台的几个亮点:

1)提高了我公司IT基础设施利用率,从而降低了硬件成本,降低机房服务器占地,以物理服务器 CPU 利用率为例,私有云平台将 CPU 平均利用率从不到 20% 提升到 50%。

2)由于物理服务器数量相对X86机器明显减少,从而降低了运维成本。

3)基于PowerKVM的虚拟化管理平台使得虚拟机上线更具有使用弹性,利用虚拟化技术将物理基础设施做成虚拟资源池,做到了随时按需上下线。

4)降低了学习成本,以往我们企业需要专人维护AIX系统及上面的应用,然而现在基于Power8的应用完全构建在Linux平台下,大量Linux高手,无需培训就能直接操作Power8服务器。

编辑:服务器运维 本文来源: 云计算系统运用了许多技术澳门新濠3559,为对

关键词: