大数据背景下高职Hadoop课程内容体系建设

摘要：大数据技术的发展对人才的需求发生了变化，提出高职计算机相关专业增加Hadoop课程作为教学内容，调整人才培养计划，以满足大数据技术岗位的要求。文中分析了Hadoop的架构，并给出了Hadoop教学平台的实施方案和具体的课程教学内容，促进教学改革的实施。关键词：大数据；高职；计算机；Hadoop课程；教学改革中图分类号：TP311文献标识码：ADOI:10.14004/j.cnki.ckt.2016.4247

文章编号：1009-3044(2016)30-0131-021引言近年来，随着数据的极速膨胀，大数据技术研究越来越深

入，并且得到了广泛的应用。因此，为了适应大数据发展的要求，Apache基金会开发了一个分布式系统架构——Hadoop，已成为广泛应用的大数据运算平台。同时，高职院校应调整相关专业的培训计划，增加Hadoop课程教学，调整培养目标，以满足大数据技术发展的人才需求。具体的培养目标是：培养具有计算机网络、大数据及云计算的专业知识，实践能力强、职业道德素养高，具备云平台的管理能力和网络软件开发能力，能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才。

2Hadoop架构MapReduce编程模型。HDFS为海量的数据提供了存储，则Ma⁃pReduce为海量的数据提供了计算。用户可以基于Hadoop开发分布式程序，并且使用集群计算机的能力实现数据的分布式并行处理，实现充分利用集群的威力进行高速运算和存储。

1)Hadoop节点

Hadoop主要包括MasterNode主节点和SlaveNode从节点。MasterNode主要运行NameNode名称节点和JobTracker任务追踪，前者主要负责数据存储(HDFS)的调度，后者负责数据并行处理（Map-Reduce）的调度。它们主要运行在管理端服务器上。

SlaveNode主要运行DataNode数据节点和TaskTracker实例追踪，它的运行需要大量计算机的支持，完成具体的分布式数据存储以及运行计算。每个SlaveNode都运行DataNode和TaskTracker，Tasktracker由JobTracker管理，DataNode由Na⁃meNode管理。

2)Hadoop数据流在Hadoop中，每个MapReduce任务都被初始化为一个Job，每个Job又可以分为两种阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，即map函数和reduce函数。map函数接收一个形式的输入，然后同样产生一个形式的中间输出，Hadoop函数接收一个如形式的输入，然后对这个value集合进行处理，每个reduce产生0或1个输出，reduce的输出也是形式的。

3)Hadoop生态系统

图1Hadoop结构如图1所示，Hadoop的核心设计就是：HDFS文件系统和

收稿日期：2016-10-12项目来源:2015常州纺院教育科研基金立项课题（RJ201513）作者简介：裴浩（1984—），讲师，硕士，研究方向：计算机网络，大数据，分布式计算。本栏目责任编辑：王

力

计算机教学与教育信息化131

ComputerKnowledgeandTechnology电脑知识与技术Ambari等管理工具Zookeeper(分布式协作服务)HBASE(分布式数据库)FLUMEOOZIE……HIVEPIGMABOUTMapReduce(分布式计算模型）HDFS(分布式文件系统）图2Hadoop生态系统如图2所示，随着Hadoop研究的深入，其它围绕Hadoop的开源项目也在发展，Hadoop比例HBase、Hive、大数据处理方案。其中，生态系统，它们隶属于不同的项目组，Pig、Zookeeper等构建了duce。

生态系统的核心仍是提供了更完整的HDFS和MapRe⁃3Hadoop课程教学实施3.1Hadoop教学平台1)现有计算机实验室大多已构建成局域网，拓扑结构

因此可以基于现有实验室计算机和交换机，完成Hadoop教学平台的构建。网络拓扑如图3所示。

交换机计算机2)图3拓扑结构使用较快的MasterNode系统要求

CPU主节点服务器需要较高的运算能力，和较大的内存，其他节点使用原有配置。所有因此要求计算机采用LinuxUbuntu位网络操作系统，可以提供稳定的网络服务和计算性能。

3)Cloudera目前，主要的免费CDH开源框架Hadoop提供商为ApacheHadoop（原始版，bution其他均基于此版本改进）、ClouderaCDH（Cloudera’sDistri⁃tonworksIncluding多数应用选择DataPlatformApacheHadoop，CDH）、HortonworksHDP(Hor⁃CDH。，ClouderaHDP）。由于CDHCloudera和ApacheCDHHadoop的优点，相比主绝大要改进如下：

容性、(1)CDH版本划分清晰，只有CDH3和hadoop(2)CDH安全性和稳定性性都比CDH4两个系列，在兼更新速度快，并且能够及时修改ApacheHadoop要好。

用户名认证相比，(3)同功能版本提早发布。

Bug，比比ApacheCDH支持Kerberos安全认证，与ApacheHadoop简单的(4)CDH要安全的多。

(5)CDH文档清晰，支持多种安装包，便于用户的阅读和操作。安装更灵活，如Yum/Apt包、Tar

132

计算机教学与教育信息化第12卷第30期(2016年10月)

包、RPM包等。然而，ApacheHadoop只支持Tar包安装。3.2Hadoop教学内容doop如表包含子模块。

原理、1Hadoop所示，Hadoop实现及教学内容主要包括大数据基础、Hadoop应用四大模块，每一个模块又Ha⁃表1Hadoop教学内容序号

模块

子模块大数据概念

1

大数据基础

云计算云管理平台Hadoop基础2

Hadoop原理

Hadoop生态系统Hadoop集群MapReduce实现3

Hadoop实现

HadoopAPI使用Hadoop处理实现MapReduce应用4

Hadoop应用

Hadoop生态应用大数据案例应用

各子模块的具体教学内容如下：

1用案例。

2）大数据基础：）Hadoop基础：大数据概念、Hadoop介绍、云计算、Hadoop云管理平台。基本概念、Hadoop应成、Spark3）Hadoop数据处理、生态系统：Hive、HBasePig和数据存储、Impala数据分析、Flume、SqoopOozie数据集工作流引擎、求、Hadoop4）MahoutHadoop机器学习。

集群：HDFS文件系统、MapReduce模型、硬件要Reducer5）MapReduce集群搭建

原理：MapReduceAPI接口、Driver、MapperSetup6）Hadoop编写、EclipseAPI使用：HadoopToolRunner开发。

及的使用、Combiner的使用、用。

和Cleanup的使用、HDFS程序访问、Distributedcache的使入与输出。

7）Hadoop数据处理：Partitioners和Reducers、数据的输据索引、8）MapReduce应用：大数据集的排序与查询、二次排序、数示例实时数据管理9）Hadoop字频统计、工具使用：数据集合并。

10）大数据案例应用：（日志文件SqoopHIVE）、示例OozieRDBMS转成HDFS、Flume案例应用、示例、HBasePig示例。

案例应用。

4结束语文中分析了大数据背景下的应用技术，对人才培养提出了新的要求。另外，基于Hadoop架构，并详细说明了Hadoop课程实施的具体方案，完善了计算机相关专业的教学体系，有效促进了课程改革和调整。

参考文献：[1]陈吉荣述[J].计算机工程与科学,乐嘉锦.基于Ｈadoop,2013,35(10).生态系统的大数据解决方案综（下转第134页）

本栏目责任编辑：王

力

ComputerKnowledgeandTechnology电脑知识与技术第12卷第30期(2016年10月)

以从中分析提取很多有意义的信息，发现教与学的痛点和盲区，老师以此改进教学，学生以此促进学习。

综上所述，将慕课网络教学融入传统课堂教学的混合教学模式（即“翻转课堂”）无论是对老师还是学生都将带来很大的益处。由此，我们在教学实践中重构了《计算机应用能力》课程的教学模式。重构后学生学习的基本过程是：课前观看教学内容视频自学；课堂完成老师布置的练习并就学习中出现的问题向老师提出现场解决；课后完成作业并通过慕课平台和手机工具交流复习巩固提高；最后参加期末考试，综合评定通过后获取学分。重构后老师教学的基本过程是：课前制作教学视频和准备练习作业；课堂指导学生完成练习并答疑解惑；课后借助慕课网络平台批阅作业并与学生进一步交流指导；最后根据学生期末成绩结合平时表现给出最终评定结果。

整个教学过程中起到关键性的作用。一段教学视频不宜过长也不宜过短，对于高职学生而言，专注视频的时间在10分钟左右会有比较好的学习效果。教师必须合理选择教学片段、精心重构教学内容，尽量在每段视频中紧紧围绕一个主题进行，有利于整堂课程的教学实施。

当然在实践中也存在一些问题亟待解决和改善。例如：如何管理和把控学生做到积极进行课前教学视频的学习；慕课平台对计算机操作性练习和作业的自动批阅还存在一些困难等。总之，我们的教学实践证明，利用慕课重构《计算机应用能力》课程的教学模式显著提高了教学效果，这也给我们在其他课程的教学改革中带来了积极有益的启示。

参考文献：[1]曾翰颖.慕课时代下重构计算机基础教育[J].计算机教育,2015(3):98-101.[2]张毛宁.慕课本质、发展及其教学中的应用[J].绵阳师范学院学报,2016(4):72-75.[3]丁婉怡.我国慕课发展的瓶颈分析及解决建议[J].广东开放大学学报,2016(1):1-7.[4]梁洁《.高职计算机应用基础》微课的混合学习模式与应用研究[D].广州:华南师范大学,2015．4实践效果的总结与思考通过一段时间的教学实践，我们发现教学效果相比以前有很大的提升。首先学生通过课前观看视频，课堂上练习和提问就能做到有的放矢，学习的主动性和目的性显著增强，加之灵活丰富的交流沟通方式，使得学生无论课前还是课后都能方便的聚焦到课程内容的学习。其次授课老师大大减少了课程讲授、操作演示等工作的体力消耗，可以把精力集中在答疑解惑，提高教学精度和深度上来。其中教师教学视频资料的准备在

（上接第132页）

[2]陈玺.Hadoop生态体系安全框架综述[J].信息安全研究,2016,2(8).[3]鲍爱华,陈卫卫.云计算课程内容体系的建设与实践[J].计算机工程与科学,2014,36(A2).[4]许娟,袁家斌.云计算课程教学内容和教学方法的选择[J].现代计算机,2014(6).[5]杨旻.Hadoop云计算平台在高校实验室教学环境中的实现[J].电脑知识与技术,2011(9).[6]徐苑苑.云计算环境下的开放课程应用研究[D].2013,10.134

计算机教学与教育信息化本栏目责任编辑：王力