调查显示,大部分人并不清楚什么是云计算

发表于2012 年 09 月 07 日 | 标签: ,

一份2012年8月来自美国的调查,Citrix公司随机访问了1006名美国公民,研究人们对云计算概念的接受程度。结果显示,大多数受访者认为该处的“云”,与天气、天空有关,还有一些认为和枕头、药物甚至是卫生纸有关。在了解云概念的部分人中,则认为能在家裸体工作,是云计算的最大优势。不过也有好消息,即使是那些不清晰知道云是什么的人群,也意识到它的经济价值,并认为云计算是小企业发展的催化剂。

这份来自Wakefield Research的报告中显示,即使云计算现在已被广泛使用,但它仍然被大多数人误解着。例如,51%的受访者(包括很多20多岁的新生代)认为暴风雨天气可能会干扰到云计算;有三分之一的受访者,认为云计算是未来而不是现在的事情,而事实上97%的受访者早就在使用云服务,比方说亚马逊的网上购物,paypal的电子银行,社交网络,甚至email和远程文件共享等。尽管有各种的疑问,59%的受访者还是认为“未来的工作场所”会完全至于云中,这也表明人们能感觉到他们工作背后的云存在。

这个调查也反应出人们对云计算了解的,假装知道的,和他们真正用云计算所做的事情,如下:

人们会假装了解云:每5个美国人里有1个(22%)承认他会假装知道云是什么,或它是如何工作的。在这些假话中,三分之一是在工作场合中谈起,另外14%是在求职面试中。有趣的是,另外的17%居然是发生在第一次约会的时候。在这部分数据中,年轻人假装了解云,了解它是如何工作的所占比例最大,18-29岁的占36%,而30岁以上的有18%。

(更多…)

Amazon glacier冰川的收费模式

发表于2012 年 09 月 04 日 | 标签: , ,

Amazon glacier冰川服务,纸面上的收费,是超便宜的。实际上的收费,也是很便宜的。但其收费模式中,依然有值得注意的地方,要拿出来仔细分析。如果做一个简单的结论,我会告诉大家,Glacier冰川服务并不适合家庭用户的使用,而比较适合数字媒体企业、有大量平时不使用但未来也许有价值且必须保留数据的金融机构和信息服务机构、以及有大量存档需求的政务服务系统。Glacier在发布之初便宣称,它的这种数据服务,是为不怎么常用的归档数据而提供的存储服务而设计,因此才顾名思义作冰川纪服务,意即封存的数据云云。下文将以案例介绍亚马逊Glacier冰川服务的收费详情。

Glacier 的收费模式,和大部分的AWS服务一样,分开了上传数据量、下载数据量、操作、存储等各种计算量的单价进行收费

以收费最便宜的美国东海岸为例:

存储: $0.01 / per GB 每月
上传/取回请求: $0.05 / per 1000个请求
DELETE请求: 数据存储3个月后再删除,免费;
数据在上传后的3个月内被删除,将按比例收费

  • 上传后一个月内就删除,$0.03/per GB;
  • 一个月后删除,$0.02/per GB
  • 两个月后删除,$0.01/per GB
LISTVAULTS/
GETJOBOUTPUT
以及其他的请求:
免费
数据取回费用: 这部分是最让人晕的。Glacier的服务前文已经介绍过,是为了不常用的归档数据而设计,原则上这些数据不会被经常访问。而且,结合glacier系统宣称的“提出取回数据请求后,需要3~5小时系统处理后,数据才能开始下载”,我们有理由认为,Glacier服务的背后,是由磁带机器在工作的,因此调度才如此的缓慢。而这部分的数据取回收费,也进一步显示了它的这些特质:

  • 按月进行最终统计
  • 每月总取回数据如果在月平均存储量的5%以下,免费。
  • 但是5%需要按平均进行计算,因此,如果每日的取回量大于0.17%(5% / 30)的存储量,则会激活收费模式。超出的部分的算法很复杂,简单来说将会按取回数据时的每小时数据量差进行单价计费,”数据量差”收费 $0.01/per GB,但是要乘上720小时(24*30)。
数据上传: 免费
数据下载: 每月的首个1GB数据,免费;
每月10TB以内的数据,$0.12 per GB;
接下来的40TB数据, $0.09 per GB;
接下来的100TB,$0.07 per GB;
接下来的350TB,$0.05 per GB。

 

下面我们再以案例进行说明:

假设我在今年8月1日往Glacier冰川服务上扔了几百个归档的压缩文件,这些数据是企业内集群中不同应用服务的日志运行记录,因为服务量很大,压缩后仍有1TB的数据。一个月后,假设9月10日,我删除了100G由于某系统下线不再需要的glacier数据,接着又继续扔了几百个新的archive文件,这次共上传1.1TB。现在Glacier上共有2TB的数据。2013年的春节前(1月),公司进行年末系统检查,需要把其中的5GB数据下载回来做检测使用。这个case里,涉及的收费情况是怎样的呢?我们一个一个来看。

1. 上传。8月份上传的1TB和9月份上传的1.1TB数据,免费;上传时要发起upload请求,这个case里每月的请求次数没有超过额定的1000个,因此费用分别是$0.05。

2. 删除。9月10日上传前,曾经删除了100GB数据。这批被删除的数据在glacier服务下存储的时间大于1个月而小于2个月,因此要按照 $0.02/GB进行收费,一共是 $2元(100 * 0.02)。如果这些数据放到11月份才删除,那么届时删除就是免费的。不过这100GB因此也多放了2个月,还是得收$2元的费用,只不过是转到了存储费用的头上而已。

3. 回取。2013年1月份我们要回取数据,当进行下载操作前,我得向glacier系统发出回取数据请求。glacier收到请求后进行处理,在大约4小时后数据才准备好。接下来系统会通过你设定的SNS方式来提醒你,提醒的方式可以是你集成了AWS API的任意客户端,或者是你设定的email。准备好的数据会在Glacier服务中存放24小时,24小时内你可以使用任意方式(api/http)来下载数据。这里,涉及的数据回取费用有以下几种算法:

一次请求取回5G数据

案例中,在回取数据时库中一共有2TB的数据,假设我们想一次性取回5GB的数据。此case中,算出来每天可免费回取的数据量只有3.41GB,那我们肯定要为多出的数据量付额外费用的了。如果当天我们没有其他的数据要再下载,那最终的账单将大概是这样的:

每小时回取数据量 = 5GB / 4Hr = 1.20GB

每日的免费回取数据量 = 2TB * 0.05 /30 = 3.41GB

每小时可以免费回取的数据量 = 3.41 /4 = 0.853GB

因此要付费的峰值数据差是 = 1.20GB – 0.853GB = 0.347GB

回取数据总共要付的费用是: 0.347GB * 720Hr * $0.01 = $2.49

5G数据分开两天取回

每天要回取的数据是5G / 2 = 2.5G,低于每天可免费回取的数据量3.41GB,因此这种方案下,我们不需要为回取数据付额外费用。

5G数据在一天内分多次请求取回

在这个case下,我们要回取的数据是5GB,大于3.41GB的每天免费回取量,所以肯定得付额外费用。不过我们可以让这个回取过程尽量平顺,而不是在某个时间内制造出峰值差,因为计算回取数据费用时要参考的参数,正是每月中最大峰值差。考虑了这个因素后,我们经过设计,让这个回取过程平分在20小时内,因此账单看起来如下:

每小时回取数据量 = 5GB / 20Hr = 0,25GB

每日的免费回取数据量 = 2TB * 0.05 /30 = 3.41GB

每小时可以免费回取的数据量 = 3.41 /20Hr = 0.171GB

因此要付费的峰值数据差是 = 0.25GB – 0.171GB = 0.079GB

回取数据总共要付的费用是: 0.079GB * 720Hr * $0.01 = $0.572

4. 下载。方案中,数据准备好后,我们要下载5G数据。头1GB免费,后面4GB共 $0.48 ( $0.12 * 4GB)。

5. 存储。8月份时,我们的存储量是1TB,因此8月份的存储费用是 0.01 * 1000 = $10。 9月份后,存储量是2TB,因此往后的存储费用是$20 / per month。

总结

在这个企业日志存档案例里,我们的操作基本只有上传,很少进行回取和其他操作。2TB数据在4、5个月的总消费为 $90 多元。合人民币¥590多元。应用amazon aws glacier服务,要注意几点:

  • 要使用glacier服务的数据必须是不常用的,甚至应该是基本不使用的“有价值数据”。
  • 数据文件不要太大,否则影响数据回取时的分割;
  • 分割文件的同时注意也别太零散,否则要发出很多的RETRIEVAL请求,而请求是收费的;
  • 合理规划存储和回取比例,不要超过每天的免费峰值,否则这可是一个陷阱。
  • 回取数据需要等待约4小时,设置一个aws SNS通知是个好的建议。

 

 

0.01美元的Amazon Glacier(冰川)服务介绍

发表于2012 年 08 月 23 日 | 标签: ,

在现代企业,数据的重要性不言而喻,而在企业的进程中,留下的各种历史数据,尤其是商业历史档案以及IT系统的历史档案,可能是巨大的。也许你正在花大量的时间和大量的金钱来归档这些电子资料。你会使用磁盘、光盘甚至磁带等各种介质进行数据的存储,然后再把这些存储介质放在办公室的某个储藏室。然而,某些方案可能比你想的更复杂和昂贵。你需要花时间维护磁盘、光盘、备份机器等硬件设备,需要规划归档数据的周期计划,需要和供应商谈判这些设备的管理等。

亚马逊aws在8月20日推出了一项名为Glacier(冰川)的服务。该服务的推出,意在为企业的归档数据存储提供一种更廉价的方案——每月每GB的存储成本,只需要1便士(即0.01美元,合人民币6.5分钱)。以此推算一下,50G数据存储存上一年,我仅仅花6美元(¥39元人民币)。和aws的S3服务一样,Glacier服务可以存储任意类型的电子数据,和硬件设备、存储设施有关的烦恼,你都可以忽略掉,扔给亚马逊帮你解决。而且亚马逊保证,你的数据是存储在安全(使用AES-256加密你的数据)、可靠(每个文件99.999999999%的可用性保证)、高冗余(多地多设备的备份)的环境中,无需担心泄密、灾难性丢失等。

看客看到这里,肯定有疑问,怎么这些文字的背后的数字听起来象是在说着S3服务,那Glacier到底是不是一种廉价的S3服务呢?不是的。Glacier冰川的设计特点,显然是用于和S3有区别的具体场合中,下面我们来进行比较:

1. 服务场合的不同

S3服务被设计用于快速检索的场合,为快速检索的请求进行过优化。而Glacier顾名思义,它的设计并不适合用于需要快速取回数据的场合。就象一座巨大而行动缓慢的北极冰山,它可以存储巨大的数据,适合存储那些不常用而又重要的历史数据资料。在Glacier服务中,你的回取数据的请求会被系统排队处理,而请求的处理过程则有些缓慢。一般来说,你所请求的存档文件将会在3~5小时候后可以被下载。

每一个你对Glacier发出的检索请求,都称之为一个job。你可以使用API随时查询,看看你要的数据是否准备好了,或者,你也可以选择设定使用AWS的SNS服务,一旦数据准备好就给你发送消息通知。数据准备好后,你可以通过HTTP GET请求来访问以及下载。而这些数据将会在24小时内可用。

2. 服务收费的差异

  • Glacier和S3的上传下载费用相同,都是上传免费,下载同价。因此我们忽略。
  • PUT/COPY/UPLOAD等请求的处理收费,Glacier和S3各有差异,但如果次数差别不大,这项费用影响较小,也因此忽略。
  • 下面我们关注的,是两项服务存储费用的差别

以最便宜的美国东海岸服务为例:

Glacier的存储收费:

定额收费,$0.01 per GB / month,每月每GB数据0.01美元。而且,Glacier中的数据可靠性,是号称99.999999999%的那种。

而S3的收费如下:

数据量大小             标准存储         减少冗余存储
First 1 TB / month    $0.125 per GB    $0.093 per GB
Next 49 TB / month    $0.110 per GB    $0.083 per GB

Over 5000 TB / month     $0.055 per GB    $0.037 per GB

请注意,可以看出,在1TB(即1000GB)存储数据以下,相应的S3服务收费(标准存储,99.999999999%可靠度),是Glacier的12倍。即使愿意牺牲一点S3的可靠性换取更低的服务收费,也依然是Glacier的9倍。对比起S3服务,Glacier冰川可谓是超级便宜了。

然而不要忽略一个事情,S3的数据检索,完全免费;而Glacier的数据检索(即重新取回数据,准备下载),可以说是收费的,虽然它宣称在许可的范围内免费,但其条件非常苛刻。Glacier服务中,每个月只能免费检索5%的存储量,并且要平分在30天内使用。如果超了的话,将会按每GB 0.01美元进行收费。乍一看,这也并没什么,收就是了。但请注意,这里是相当有猫腻的,我将在下一篇文章进行分析。

所以,如果你需要频繁的访问数据,或者访问的的数据量又很大的时候,S3会是一个更具效益的服务。

3. 操作方式

Glacier:

  • 通过AWS console或Glacier API来创建一个自定义名的存储库vaults(类似S3中的桶)。使用这些valuts来管理你上传到Glacier的对象。
  • 目前只能使用Glacier API来上传和取回对象文件。
  • 使用Glacier API来监视你发出请求的jobs。或者,你可以通过配置vault的设定,让jobs在处理完后给你发SNS提醒消息。
  • 整个过程如下图:

S3:

  • 通过AWS console可以完成所有对象的上传下载过程
  • 通过API也可以完成这个过程。

4. 命名方式

S3服务中,允许你自定义每个上传对象的名称。而在Glacier冰川服务中,系统将会在对象被上传操作时,自动的为其分配指定的ID。

 

Glacier适用的场合

1. 企业信息的归档

越来越多的企业有着很多办公室和分公司。各个独立的办事处有不同数量的电子档案产生,例如电子邮件、法律记录、业务文件等。这些数据往往要保留几年甚至几十年,但却很少被拿出来浏览。

2. 媒体公司的资产

媒体公司的核心内容是其内容,其中包括书籍、电影、音乐、图片、新闻素材以及电视节目。这些资产的数量和规模不断的增长,基于前面的材料,带动新产品新技术的发展。这些产品可以增长到数十甚至数百PB。安全的保存这些资产非常重要,数据的取回也非常关键。这些归档文件通常需要冗余存储以避免意外。一般来说也很少访问。

3. 研究和科学数据

研究和科研机构,如制药和生物技术公司、以及大学和研究机构,都有大量的数据归档需求。药物的开发,产生大量的数据必须保留,以便研究人员可以验证实验性药物测试的结果。传统上,这些会存储在基于磁带的存储系统。这将会相当的不灵活。

4. 数字资源的长期存储

图书馆、历史会社、非营利组织和政府机构,一般会有措施,有计划的保留一些有价值但已经过时的数字材料内容。例如,过去的一些网站、软件的源代码、已退出历史舞台的视频游戏、使用者的一些内容和其他数字文物等,这些都已不再有用处。这些资料的归档,开始时可能很小,但也可能会增长到PB级别的大小。

5. 磁带方案的替换

磁带是一种低成本的方案,但不能忽略的是,磁带的出错率很高,且数据的取回需要一个过程,效率很低。与其周期性的进行硬件的升级,不如把投资放在亚马逊的Glacier。

 

现在,AWS SDK中,已经加入了对Glacier的支持,如果你想继续了解更多关于Glacier的内容,请访问Glacier的相关文档

 

 

亚马逊推出Glacier冰山,1G数据每月1便士的诱惑

发表于2012 年 08 月 22 日 | 标签: , ,

8月20日消息,亚马逊宣布推出代号为Glacier冰山的服务。这项服务是一项号称安全,可靠以及收费极为低廉的存储服务。这项产品的设计目的,是为了存储那些不常用的历史归档数据以及备份数据。但这些数据对于企业来说,仍然有它们存在的意义和价值,也许在未来要拿出来重新查看或使用。

如果这些数据不影响企业的日常运作,以及在取出该类数据没有时间要求,可接受几小时到1天的提前申请,那么,这项服务将是你的一大喜讯。例如包括数字媒体的归档,财务记录,基因组序列数据,数据库数据文件的备份,以及那些为数据一致性而必须保留的检验数据。使用amazon Glacier冰山服务,客户可以存储任意大小的数据,而每月为这些数据所支付的费用,仅仅是每G $0.01/月。这是一项按服务付费的项目,你不需要为为此而预先支付任何消费。

目前,Glacier服务已向美国东海岸地区,西海岸地区,欧洲地区和亚太区开放服务。更多的使用详情,我们会在明天继续介绍。

为EC2状态检测而准备的CloudWatch量度表

发表于2012 年 08 月 14 日 | 标签: ,

7月18日消息,为EC2状态检测而准备的CloudWatch量度表Metrics上线使用。新上线的CloudWatch Metrics让你可以查看图表,分析历史以及为EC2实例状况设置报警线。

  • 免费服务 — 检测EC2运行状况的CloudWatch metrics量度表是一项免费服务,包含在EC2的基本监控服务中。你可以持有长达14天的所有EC2实例的状况检测历史数据。
  • 自动开通 — 对那些已在运行的EC2实例,我们会为你自动开通该服务。在你运行新的EC2实例后,对应该实例的CloudWatch metrics服务也会自动启用。
  • 支持CloudWatch Alarm — CloudWatch metrics量度表可以和Alarms一起使用。当你的状态检测侦查到运行实例上的异常时,会自动向你发送报警信息(CloudWatch alarms服务会收取额外的费用)。

要了解更多关于检测EC2运行状况的CloudWatch metrics量度表的信息,请查看它的技术文档

要了解CloudWatch,包括CloudWatch Alarms的价钱,请看CloudWatch的详细页面

 

AWS弹性豆语更新命令行界面

发表于2012 年 08 月 13 日 | 标签:

7月27日消息,AWS弹性豆语Elastic Beanstalk的命令行界面加入新的指令:eb(发音ee-bee)。Eb指令简化了在Linux,Mac OS,MS windows终端命令行进行开发和部署的过程。开始使用eb命令,只需简单的键入eb initeb start并且git aws.push即可。

Eb指令会通过一些列的提示,让开发者在初次使用时配置你本地的Elastic Beanstalk环境。如果你的源码是通过Git来管理的,eb会自动配置Git来部署你的弹性豆语环境。使用eb指令,让你可以快速启动一个新的项目环境、部署和测试你的应用、以及更新应用配置。这样,你在开发周期和测试周期切换的时候,就不需要离开终端窗口。另外,eb指令还能提供你当前开发环境和过程中的各种信息。

现存的实现了web服务的那些CLI指令仍然会继续支持,它们的作用是脚本化和自动部署。

要试用eb指令,可以在这里下载更新后的新版本命令行工具。要了解更多eb的详情,请到Elastic Beanstalk 开发者手册中查阅。

 

AWS弹性豆语在Oregon和California片区上线

发表于2012 年 08 月 13 日 | 标签:

7月10日消息,AWS的Elastic Beanstalk弹性豆语在美国西海岸US West(Oregon)和(Northern California)片区上线。现在,开发者可以在美国东海岸East (North Virginia)片区, 亚太Asia Pacific (Tokyo)片区, 以及欧洲EU (Ireland) 片区使用这项服务。

弹性豆语是一项在AWS云上使用的快速部署和管理应用的服务。你只需要上传你的应用程序,Eliastic Beanstalk就会自动处理部署细节,例如应用的计算能力的供应,负载均衡,自适应调节策略,以及应用程序运行情况监视。

弹性豆语现在支持的部署包括:在Apache Tomcat以及类似规范上运行的Java应用;在IIS 7.5上运行的.NET应用;在Apache服务器以及类似的规范上运行的PHP应用。Elastic Beanstalk提供了一整套工具来让你管理你的应用,包括AWS管理控制台、使用eb命令行来管理git部署、Visual Studio的AWS工具套件,以及Eclipse上的AWS工具套件。使用Elastic Beanstalk并不意味你放弃了对AWS各种资源的控制权,相反,你依然握有这些资源(例如EC2实例个数、负载设定、自适应调节机制等)完整的管理管理权限。

 

如果想了解AWS Elastic Beanstalk 更多的资料,请查看它的开发者帮助文件

取消terminal、gedit的F1和F10,设置自定义快捷键

发表于2012 年 07 月 30 日 | 标签: ,

Gnome默认环境下,绑定了F1为帮助、F10为菜单栏的快捷键。然而这两个功能都比较少用。现在决定通过设置,取消这两个快捷键的绑定。日后如果需要帮助,可以用鼠标点击菜单调出;如果需要菜单栏,alt键也可以满足。

gnome-terminal

  • F1  (编辑-键盘快捷键-目录,选中后按 backspace 取消)
  • F10  (编辑-键盘快捷键,取消“启用菜单快捷键,默认F10”这项)

全局

如果要全局的去除gnome环境下的F10快捷键,让F10在gedit中也可以使用,如下:

  • 打开gconf-editor, 把 desktop/gnome/interface/menubar_accel 的F10值 删掉即可
  • 或者使用CLI操作,命令如前文

gedit修改自定义快捷键

  • 打开gconf-editor,选择desktop/gnome/interface/can_change_accels,打上勾;或使用命令行设置,如前文
  • 在gedit需要修改快捷键的菜单上停留,按键修改
  • 我修改的一般如下:
    • 查找下一个 F3
    • 跳到指定行 ctrl + g
    • 重做 ctrl + y

gconftool的语法

发表于2012 年 07 月 30 日 | 标签: ,

Gconf可以类比于Windows的注册表,只不过Gconf只是Gnome桌面环境的配置注册表,并非整个操作系统的。

Gconf-editor的是图形界面的配置管理工具,和Windows下的regedit命令类似。而gconftool是gconf-editor的CLI,以下是几则常用的gconftool语法:

 

$ gconftool --get entry        # 获取键值entry的值
$ gconftool --get-type entry   # 获取键值entry的类型
$ gconftool --long-docs entry  # 获取键值entry的详细描述,--short-docs是简短描述
$ gconftool --type typeValue --set entry value   # 设置键值entry的值,在设置的同时必须指定类型
                                                 # [int|bool|float|string|list|pair]
$ gconftool --unset entry      # 删除键值entry
$ gconftool -a directory       # 获取当前目录下的所有键值

 

例1: 获取当前gnome的字体

$ gconftool --get /desktop/gnome/interface/font_name
Sans 10

例2: 获取font_name类型

$ gconftool --get-type /desktop/gnome/interface/font_name
string

例3: 获取font_name的详细描述

$ gconftool --long-docs /desktop/gnome/interface/font_name
gtk+ 使用的默认字体的名称。

例4: 修改默认字体类型为Monospace

$ gconftool --type string --set /desktop/gnome/interface/font_name "Monospace 10"
$ gconftool --get /desktop/gnome/interface/font_name
Monosapce 10

 

 

几项vim的配置技巧

发表于2012 年 07 月 21 日 | 标签:

VIM越用越多,下面是3则设置技巧,分享。这些设置添加到~/.vimrc中则可,Windows下是_vimrc。

 

按F3查找,高亮鼠标当前所在的单词,即快速在本文查找。另外在普通模式下单独按 * 键或 # 键也行,只不过光标会移动。

:nnoremap <silent> F3 :let @/='\<<C-R>=expand("<cword>")<CR>\>'<CR>:set hls<CR>

默认<Leader>是“\”,所以是按”\re” 打开编辑.vimrc文件编辑,按”\lr”重新载入.vimrc的设置

:nmap <Leader>le   :e $MYVIMRC<CR>
:nmap <Leader>lr   :source $MYVIMRC<CR>

在普通模式下的指令

guu     :整行转为小写
gUU     :整行转为大写
~       :当前字母转变大小写
gf      :打开当前鼠标所在路径的文件
ga      :显示当前鼠标所在字母的ASCII码,以10进制,16机制和8进制显示
g8      :显示当前鼠标所在字母的统一码(UTF-8),以16进制显示
=       :自动缩入当前行,或选择的多行