搭建hadoop集群用什么操作系统
Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的HadooponDocker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。GitHub:kiwanlau/hadoop-cluster-docker直接用机器搭建Hadoop集群是一个相当痛苦的过程，尤其对初学者来说。他们还没开始跑wordcount，可能就被这个问题折腾的体无完肤了。而且也不是每个人都有好几台机器对吧。你可以尝试用多个虚拟机搭建，前提是你有个性能杠杠的机器。我的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。其实这个想法已经有了不少实现，但是都不是很理想，他们或者镜像太大，或者使用太慢，或者使用了第三方工具使得使用起来过于复杂。下表为一些已知的HadooponDocker项目以及其存在的问题。更快更方便地改变Hadoop集群节点数目另外，alvinhenrick/hadoop-mutinode项目增加节点时需要手动修改Hadoop配置文件然后重新构建hadoop-nn-dn镜像,然后修改容器启动脚本，才能实现增加节点的功能。而我通过shell脚本实现自动话，不到1分钟可以重新构建hadoop-master镜像，然后立即运行!本项目默认启动3个节点的Hadoop集群，支持任意节点数的Hadoop集群。另外，启动Hadoop，运行wordcount以及重新构建镜像都采用了shell脚本实现自动化。这样使得整个项目的使用以及开发都变得非常方便快捷。开发测试环境操作系统：ubuntu14.04和ubuntu12.04内核版本:3.13.0-32-genericDocker版本：1.5.0和1.6.2小伙伴们，硬盘不够，内存不够，尤其是内核版本过低会导致运行失败。
软件开发步C
第一步：需求调研分析
1相关系统分析员和用户初步了解需求，然后用WORD列出要开发的系统的大功能模块，每个大功能模块有哪些小功能模块，对于有些需求比较明确相关的界面时，在这一步里面可以初步定义好少量的界面。
2 系统分析员深入了解和分析需求，根据自己的经验和需求用WORD或相关的工具再做出一份文档系统的功能需求文档。这次的文档会清楚例用系统大致的大功能模块，大功能模块有哪些小功能模块，并且还例出相关的界面和界面功能。 3 系统分析员和用户再次确认需求。
第二步：概要设计
首先，开发者需要对软件系统进行概要设计，即系统设计。概要设计需要对软件系统的设计 进行考虑，包括系统的基本处理流程、系统的组织结构、模块划分、功能分配、接口设计、 运行设计、数据结构设计和出错处理设计等，为软件的详细设计提供基础。
第三步：详细设计
在概要设计的基础上，开发者需要进行软件系统的详细设计。在详细设计中，描述实 现具体模块所涉及到的主要算法、数据结构、类的层次结构及调用关系，需要说明软件系统各个层次中的每一个程序(每个模块或子程序)的设计考虑，以便进行编码和测试。应当保证软件的需求完全分配给整个软件。详细设计应当足够详细，能够根据详细设计报告进行编码。
第四步：编码
在软件编码阶段，开发者根据《软件系统详细设计报告》中对数据结构、算法分析和模块实现等方面的设计要求，开始具体的编写程序工作，分别实现各模块的功能，从而实现对目标系统的功能、性能、接口、界面等方面的要求。 第五步：测试
测试编写好的系统。交给用户使用，用户使用后一个一个的确认每个功能。
第六步：软件交付准备
在软件测试证明软件达到要求后，软件开发者应向用户提交开发的目标安装程序、数据库的数据字典、《用户安装手册》、《用户使用指南》、需求报告、设计报告、测试报告等双方合同约定的产物。
《用户安装手册》应详细介绍安装软件对运行环境的要求、安装软件的定义和内容、在客户端、服务器端及中间件的具体安装步骤、安装后的系统配置。
《用户使用指南》应包括软件各项功能的使用流程、操作步骤、相应业务介绍、特殊提示和注意事项等方面的内容，在需要时还应举例说明。
第七步：验收
用户验收。
C语言,软件开发
C语言是一门通用计算机编程语言,应用广泛.C语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言.软件开发是根据用户要求建造出软件系统或者系统中的软件部分的过程.软件开发是一项包括需求捕捉、需求分析、设计、实现和测试的系统工程.软件一般是用某种程序设计语言来实现的.通常采用软件开发工具可以进行开发.软件分为系统软件和应用软件,并不只是包括可以在计算机上运行的程序,与这些程序相关的文件一般也被认为是软件的一部分. 软件设计思路和方法的一般过程,包括设计软件的功能和实现的算法和方法、软件的总体结构设计和模块设计、编程和调试、程序联调和测试以及编写、提交程序.
软件开发中什么是C/S和B/S设计模式?
客户端服务器 C/S 每一个使用的客户需要安装客户端,例如QQ 浏览器服务器 B/S 不需要安装客户端,客户只需要有浏览器就可以(简单来说就是网页程序)
软件开发主要包括哪些
中国现在软件领域主流主要是这几大领域的开发
1系统应用和硬件应用
2WEB网站
3行业应用，包括C/S模式，也包括B/S模式
我为什么把系统应用和硬件应用放在了一起，这是因为这两者都是比较在深层次上开发。
系统应用，如防火墙、杀毒、杀木马、BT下载等等，我的机器上有一大半都是这种软件。
其实游戏也算一类系统应用，为什么？因为游戏开发，是网络技术、集群技术、安全技术、图形计算技术、人工智能技术有深度综合考验的软件，对CPU、内存、显卡、网络性能有严重考验的应用。
硬件应用：在工业控制、交通、汽车、医疗、
数码相机、数码摄像机、摄像头、MP3、DVD、数字电视、洗衣机、冰箱、空调、微波炉、电饭煲、U盘、手机底层
这些都是属于硬件应用范畴
而开发这类应用，C是主流。为什么C是主流？因为各种底层驱动、内核都是用C编写的，而且与硬件应用编程，往往是用对应该硬件的汇编，C是最接近汇编并且和汇编有良好交互的开发语言，当然非C莫属
看看，C的应用领域有多广。
再说，现在的视频播放、IPTV、3G应用，几乎也都是C大显身手的领域。假如你想投身这些行业，C是必选。
接下来，咱们看看WEB网站领域。
现在以及未来，WEB一定会越来越大行其道。这是毫无疑问的。现在主流WEB网站开发，主要是JSP、ASP、ASPX、PHP、Ruby、Python、 Perl这几类，Python、Perl这两类会少一些。所以说，假如你想投身于WEB网站的开发，JSP、ASP、ASPX、PHP这几类必须都学会。为什么要学习这么多，因为现在开发网站，用这几类技术公司都差不多一样多，假如你想找工作或跳槽，不抵会碰到哪个开发语言。其实，这几类服务器端语言都挺好学。一个WEB应用，不外乎是服务器端语言 数据库访问 HTML CSS JS，数据库访问是考验你对SQL的学习，WEB网站，主流是MYSQL、 ORACLE、SQLSERVER这三类，HTML CSS JS，无论你用什么服务器端语言都是这些公用的。很多同学问怎么能快速学习呢？我给他们的建议是：下载一个完整网站的源代码，看看里面用到了什么函数。很多网站的功能都是很雷同的，你会很快提高你的自信，对WEB网站开发不会感到茫然无措。其实技术没什么难的。假如你一上来就学习设计模式、OO、某个框架，反射技术，你会越来越陷入到技术深渊而惧怕。其实在实际商业开发中也用不到
行业领域，现在既有B/S的，也有C/S的。
现在B/S的行业应用，主流开发是JAVA和ASPX，上面咱们都讲了
C/S的，就又分了两个分支来说。有的公司跟风，用了.net C#或VB.net。大部分则现在还停留在win32的时代，用PB、DELPHI的公司最多。中国大部分公司都是开发行业应用软件，所以这类程序员最多。
我曾经给同学们回信，也曾这么写过。但是又有不少同学回信，说你说了这么多技术，怎么学啊。我现在也不知道能进入什么公司，不至于我，C、PB、DELPHI、PHP、JAVA、MYSQL、ORACLE、SQLSERVER都学吧？
这样吧，经过我个人的一些从业经历，笔者给出的拙见是：
C、JAVA你肯定是必学的，而且现在大学也几乎开了这两门课
数据库方面嘛，ORACLE难一些，你可以学习SQLSERVER，因为MYSQL的使用和SQLSERVER很相似
WEB开发吗，你学会了JAVA，PHP很好学。PHP比JAVA轻易多了。
在行业应用开发上，你可以学习DELPHI，PB现在用的人少了些。
当然，现在有一个痛苦，就是ASPX和C#学不学？因为用这两种的公司也非常多。学吧，上面那些学习项目已经够多，不学吧，这类公司也挺多。假如你觉得你进入网站公司的综合能力不足，那么就不要学习JAVA和PHP，找工作你就去做行业应用的公司，那么你就需要学习ASPX和C#。
最后总结：
基础学习：C、JAVA、SQLSERVER
走系统应用和硬件应用：C
走网站开发：PHP
走行业应用：DELPHI、ASPX、C#
从中国未来来看，赚钱多的还是会集中在系统应用和硬件应用上，网站开发最近的薪资不错，但未来会下降，行业应用则薪资上不到哪里去。假如各位同学不怕艰难，不怕一条道走到黑，专心学习C就OK，只要你学精，很好找工作的。假如你怕专心学后找不到工作，然后又什么都涉猎，那么你找不到工作的可能性更大
网友回复:支持一个
网友回复:一楼说得很具体了
网友回复: 一楼说的确实很具体了，谢谢啊！要是能推荐几本书就更好了啊
网友回复:看看《代码大全》吧
网友回复:强烈建议楼主一定学好C基础,有了好的基础学JAVA,.NET都很轻易
我是一开始接触JAVA,现在因为一些工作原因回过头来学C,个人的真实感觉是其实学好了C学别的语言都应该很轻易了,所以基础一定要打好!
河南新华网络运营协会为您解答！
浅谈数据库集群软件优缺点有哪些
集群（Cluster）是由两台或多台节点机（服务器）构成的一种松散耦合的计算节点集合，为用户提
供网络服务或应用程序(包括数据库、Web服务和文件服务等)的单一客户视图，同时提供接近容错机的故
障恢复能力。集群系统一般通过两台或多台节点服务器系统通过相应的硬件及软件互连，每个群集节点都
是运行其自己进程的独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形成了一个单一系统，
协同起来向用户提供应用程序、系统资源和数据。除了作为单一系统提供服务，集群系统还具有恢复服务
器级故障的能力。集群系统还可通过在集群中继续增加服务器的方式，从内部增加服务器的处理能力，并
通过系统级的冗余提供固有的可靠性和可用性。
二、集群的分类：
1、高性能计算科学集群：
以解决复杂的科学计算问题为目的的IA集群系统。是并行计算的基础，它可以不使用专门的由十至
上万个独立处理器组成的并行超级计算机，而是采用通过高速连接来链接的一组1/2/4 CPU的IA服务器，
并且在公共消息传递层上进行通信以运行并行应用程序。这样的计算集群，其处理能力与真正超级并行
机相等，并且具有优良的性价比。
2、负载均衡集群：
负载均衡集群为企业需求提供更实用的系统。该系统使各节点的负载流量可以在服务器集群中尽可
能平均合理地分摊处理。该负载需要均衡计算的应用程序处理端口负载或网络流量负载。这样的系统非
常适合于运行同一组应用程序的大量用户。每个节点都可以处理一部分负载，并且可以在节点之间动态
分配负载，以实现平衡。对于网络流量也如此。通常，网络服务器应用程序接受了大量入网流量，无法
迅速处理，这就需要将流量发送给在其它节点。负载均衡算法还可以根据每个节点不同的可用资源或网
络的特殊环境来进行优化。
怎样利用系统集群技术实现系统的容错和负载均衡
要实现容错高可用性的群集的话建议用heartbeat这个软件吧 负载均衡就用lvs就行了
数据库集群的应用
一．基于实时数据同步技术
基于此技术构造的数据库集群是市场上的新兴力量，它又具有两类，分别是：
a.具有独立网关
下面以DBTwin为例来说明其技术特点。
DBTwin采用了冗余设计原理，对于来自客户端的请求，请求被分成两类：查询请求和数据更新请求。对于数据更新请求，集群内部各节点之间保持数据的实时同步一致；对于数据的查询请求，则可以在集群各节点之间负载均衡执行。它的特点是：
a) 负载均衡的单元是客户端的每个独立请求，这点除了Oracle RAC集群，是市场上独有的。
b) 实时冗余一致的多份数据，从理论上讲实现了数据的零丢失。
c) 由于可以做到数据零丢失，因此在系统发生任意故障条件下，可以做到系统的对外服务不停止。
d) 此系统使用了专用高速数据同步技术，根据测试，数据同步速度能SQL Server的镜像相等。
e) 此系统的缺点是数据同步需要花费代价,节点数量受到限制，一般2到4个节点为宜。
f) 此系统从宏观上提升了整个系统的性能。
b.将调度节点集成于数据库引擎
下面以Moebius来说明其技术特点。
任何在数据库和应用程序之间引入的中间件都同时引入了单点故障点，如果中间件（网关）出现了故障，则数据库集群就会形同虚设。因此Moebius在集群中的每个节点上都存在于嵌入于数据库引擎的分发代理，当前负责调度的分发代理出现故障时，分发代理会故障转移到集群中的其他节点，从而避免了使用网关架构所引入的单点故障点，除此之外，该类产品的特点是：
a) 负载均衡是基于每个客户端的独立请求，默认规则是将查询优先分发到集群中负载低的服务器，也可以自定义规则，将某些特定业务分发到集群中的某一台，比如将报表相关的查询分发给集群中的特定服务器。
b) 采用Share-Nothing架构，对数据进行冗余，从而保证了数据的安全性
c) 数据库同步机制采用日志Redo的方式，在日志同步之前对日志进行压缩，保证了同步效率
d) 在集群中任意节点出现故障时，会被自动剥离出节点，由剩余运行正常的节点继续提供服务，从而保证了最小停机时间
e) 负载均衡集群从宏观上提高了吞吐量和性能
f) 该类集群不需要特殊的存储设备，可以使用廉价的本地存储，但由于数据冗余，因此相较于Share-Disk架构而言，需要更多的存储空间
c.没有独立网关
当前市场上也存在下列一种基于数据实时同步的集群，其拓扑结构如下图所示：
此系统由于没有独立的集群网关，因此本质上简化成了数据库的实时备份系统，与实际的备份系统不同的是，它是工作在数据库应用层。此系统的特点：
a) 没有独立的集群网关，通过主节点的转发来实行查询的负载均衡。在系统压力大的情况下，集群主机会形成性能瓶颈，无论是CPU、内存还是网络带宽，也可能是OS等系统内核资源，都容易因到达临界状态而形成瓶颈。
b) 各节点数据实时一致，对于数据容错有利。
c) 对客户端没有二进制透明。
d) 负载均衡单元是数据库连接。也就是说，在客户端登陆数据库的时候，静态地指定连接到某个集群节点，此后此连接上的全部请求一律发送到该数据库上，因此在特殊情况下，可能会出现这样的场景：所有客户端的连接集中在集群主机上，这时候，集群主机不但承担了客户端的所有查询，还需要实时同步数据到所有的集群从机，即集群主机的CPU为100%，而集群别的节点CPU可能为0%，这样整个系统的性能会受到严重影响。
e) 由于使用的是分布式事务机制(MSDTC)确保数据的实时一致性，因此数据同步的性能比较慢，根据测试,会比SQL Server镜像慢好几倍。
f) 同样地，此集群的节点数量也受到限制，也是以2到4个节点为宜。
