VirtualBox虚拟机磁盘扩容
扩容只能增加，不能减少。
修改VirtualBox配置打开VirtualBox，虚机应处于关闭状态，左上角点管理 → 虚拟介质管理。
修改虚拟机配置查看磁盘分区1fdisk -l
fdisk -l是一个用于列出系统磁盘分区信息的命令。其中，fdisk是Linux/Unix下的一个用于磁盘分区管理的工具，-l选项表示列出分区信息。执行该命令可以查看系统中所有硬盘和分区的详细信息，包括硬盘的设备文件名、分区大小、分区类型等等。该信息对于管理磁盘、安装操作系统或者调整分区大小等操作非常有用。
可以看到磁盘已经扩容到指定内存(32G),但是/dev/mapper/cl-root依然只有之前分配的那么多(13.4G)
使用fdisk分区管理工具1fdisk /dev/sda
执行该命令会进入fdisk分区管理工具的交互式界面，可以在该界面下进行分区、删除分区、编辑分区和写入分区表等操作。但是需要注意，该工具操作比较复杂，需要特别小心，以避免误操作导致数据丢失或系统无法启动的风险。
输入的指令依次为n→p → 3 → 回车 → 回车 → t → 3 → 8e → w
在Linux/Uni ...
数据结构
C语言记录快速开始main()1234567#include<stdio.h>#include <stdlib.h>int main() { system("pause"); return 0;}
选择菜单栏1234567891011121314151617181920212223242526272829303132while (true) { ListMenu(); printf("请输入您的选择：\n"); int choice = intCin(); switch (choice) { case 0: ExitSystem();//退出程序 break; case 1: { system("pause"); system("cls"); } break; case 2: { system("pause"); system("cls ...
Hadoop生态综合案例
关于Hadoop的使用找不到或无法加载主类hadoop执行mapreduce操作时报找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
1hadoop classpath
修改yarn-siet.xml文件
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml1234567<property> <name>yarn.application.classpath</name> <value> // 第一步的结果 </value></property>
词频统计陌陌聊天数据分析陌陌聊天数据分析案例需求背景介绍陌陌作为聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。
目标需求目标基于Hadoop和Hive实现聊天数据统计分析，构建聊天数据分析报表
需求
统计今日总消息量 ...
RDD
Spark：3.3.2
Java环境变量配置（多版本）
需求近两年，Java 版本升级频繁，论是尝鲜新特性，还是由于项目升级/兼容需要，我们可能都要面临管理多个 Java 版本的情况。
设置环境变量计算机->属性->高级系统设置->环境变量->用户变量
一般修改用户环境变量即可，修改系统变量也行
新建用户变量JAVA_HOME
新建用户变量JAVA_HOME+版本号这里用的是1.8版本Java变量名字就为JAVA_HOME1.8，变量值为Java安装路径
实现版本切换win+R打开cmd
修改后都是要重新打开新的cmd才能生效，再用命令java -version查看修改后版本
修改用户变量1setx JAVA_HOME %JAVA_HOME1.8%
路径中带有空格时，所以最好用双引号把变量和值都包裹起来
1setx "JAVA_HOME" "%JAVA_HOME1.8%"
修改系统变量上诉代码修改的是用户环境变量，如果需要更改系统环境变量，需要加/m
1setx "JAVA_HOME" "%JAVA_HOME1.8%" /m
...
Kafka
Kafka命令行操作
Kafka 概述Kafka定义
Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。
Kafka最新定义： Kafka 是一个开源的分布式事件流平台（ Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
为了更好理解，就拿双十一购物来说，数据量太大，Hadoop一时间处理不了，需要时间去缓冲，Kafka的作用就体现出来了
消息队列目前企业中比较常见的消息队列产品主要有Kafka 、ActiveMQ、RabbitMQ、RocketMQ 等
在大数据场景主要采用Kafka作为消息队列。在JavaEE 开发中主要采用ActiveMQ、RabbitMQ、RocketMQ
传统消息队列的应用场景传统的消息队列的主要应用场景包括：缓存/消峰、解耦和异步通信。
缓存/消峰解耦异步通信缓冲/消峰：有助于控制和优化数据 ...
Zookeeper部署
环境准备Zookeeper: 3.8.1
安装Zookeeper从Zookeeper官网下载好安装包
1tar -zxvf apache-zookeeper-3.8.1-bin.tar.gz -C /mysoft/
配置环境变量vi /etc/profile123#ZooKeeper environment variablesexport ZOOKEEPER_HOME=/mysoft/apache-zookeeper-3.8.1export PATH=$PATH:$ZOOKEEPER_HOME/bin
使环境变量生效1source /etc/profile
Zookeeper全分布式12cd $ZOOKEEPER_HOMEcd conf/
配置zoo.cfg1cp zoo_sample.cfg zoo.cfg
修改dataDirvi zoo.cfg1dataDir=/mysoft/apache-zookeeper-3.8.1/zkData
添加如下内容vi zoo.cfg1234#cluser cinfigurationserver.1=hsq01:2888:3888server.2= ...
Spark部署与快速入门
环境准备Spark: 3.3.2
安装Spark从Spark官网下载好安装包1tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /mysoft/
配置环境变量vi /etc/profile123#Spark enviroment variablesexport SPARK_HOME=/mysoft/spark-3.3.2-bin-hadoop3/export PATH=$PATH:$SPARK_HOME/bin
使环境变量生效1source /etc/profile
Standalone集群模式12cd $SPARK_HOMEcd conf/
配置spark-env.sh1cp spark-env.sh.template spark-env.sh
vi spark-env.sh123456export JAVA_HOME=/usr/local/jdk1.8.0_341export HADOOP_CONF_DIR=/usr/local/hadoop-3.3.4/etc/hadoopexport SPARK_MASTER_HOST=hsq01export S ...
Java与Hadoop
通过Java API使用Hadoop
HBase三种搭建方式
Hbase三种搭建方式