1. 历史服务器的配置

为了查看程序的历史运行情况，需要配置一下历史服务器。

1.mysql常见函数

字符函数

一.概述

redis基于内存持久化，高性能的NoSql的key-value数据库.redis支持数据的持久化，可以将数据保存在磁盘中，重启时可以加载使用。redis持久化策略包括RDB,AOF。redis提供key-value类型的数据，同时还提供list,set,zset.hash类型的数据，redis单个key可存储512M大小，默认端口6379

该项目是基于通话日志的分析，当前每时每刻都有很多人打电话，那么产生的通话记录也是一个非常大数据量，需求就是根据这个通话日志，统计出每天，每月，每年用户的通话次数以及通话时长。

一.变量

scala的数据类型

今天想要在虚拟机上安装redis，结果尽然发现虚拟机不能上网，根据网上的一顿操作，差点把自己心态搞崩，不过，最后还是集百家智慧，重要搞定了。

1.hadoop的优势

1. 高可靠：维护多个副本，数据不易丢失

2. 高扩展：集群方便添加节点

交换排序的基本思想

根据序列中两个元素的比较结果来对换这两个记录在序列中的位置，也就是说，将键值较大的记录向序列的尾部移动，键值较小的记录向序列的前部移动。

1.hive的基本概念

Hive是基于hadoop的一个数据仓库工具，可以将结构化数据文件映射成一张表，并提供类sql查询功能

本质：将sql语句转化成MapReduce程序

1. hive处理的数据存储在hdfs

2. hive分析数据底层的实现是MapReduce

3. 执行程序运行在yarn上