add some notes.

JamesBonddu · Sep 29, 2021 · 399dc04 · 399dc04
1 parent 96dbccb
commit 399dc04
Show file tree

Hide file tree

Showing 5 changed files with 69 additions and 1 deletion.
diff --git a/DevOps/Kubernetes/setup.md b/DevOps/Kubernetes/setup.md
@@ -72,4 +72,17 @@ functuion installKubctl() {
 
 [尝试搭建一个k8s集群体验环境](https://labs.play-with-k8s.com/)
 
-[kubernetes 阿里云镜像](http://ljchen.net/2018/10/23/%E5%9F%BA%E4%BA%8E%E9%98%BF%E9%87%8C%E4%BA%91%E9%95%9C%E5%83%8F%E7%AB%99%E5%AE%89%E8%A3%85kubernetes/)
+[kubernetes 阿里云镜像](http://ljchen.net/2018/10/23/%E5%9F%BA%E4%BA%8E%E9%98%BF%E9%87%8C%E4%BA%91%E9%95%9C%E5%83%8F%E7%AB%99%E5%AE%89%E8%A3%85kubernetes/)
+
+
+# K8s 安装
+
+https://www.kuboard.cn/install/install-k8s.html#%E7%A7%BB%E9%99%A4worker%E8%8A%82%E7%82%B9%E5%B9%B6%E9%87%8D%E8%AF%95
+
+## k8s 搭建hadoop集群
+
+https://bbs.huaweicloud.com/blogs/127507
+
+# YuniKorn Cloudera调度
+
+https://www.iteblog.com/archives/2582.html
diff --git a/DevOps/Kubernetes/容器管理平台.md b/DevOps/Kubernetes/容器管理平台.md
@@ -4,6 +4,14 @@
 
 https://developer.aliyun.com/article/757166
 
+rancher 构建pipeline
+
+https://www.infoq.cn/article/eAb5Kt0l5tAbJbJ8uLbe
+
+https://www.bookstack.cn/read/rancher-2.4.4-zh/bb74aac5ad87420f.md
+
+
+https://segmentfault.com/a/1190000039341068
 
 # KUBESPHERE
 
@@ -16,6 +24,10 @@ https://github.com/kubesphere
 ```sh
 # install docker
 curl https://releases.rancher.com/install-docker/19.03.sh | sh
+# 安装rancher
+docker run -d --privileged --restart=unless-stopped -p 80:80 -p 443:443 --privileged rancher/rancher:latest
+
+docker logs  2>&1|grep "Bootstrap Password:"
 
 export KKZONE=cn
 curl -sfL https://get-kk.kubesphere.io | VERSION=v1.1.1 sh -
@@ -34,9 +46,16 @@ kk create cluster -f config-sample.yaml
 # 查看安装启动错误日志
 
 kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f
+
+# 如何卸载kubeSphere 和k8s
+kk delete cluster -f config-sample.yaml
 ```
 
+https://www.bilibili.com/video/BV16y4y1v7cn
+
+https://kubesphere.com.cn/docs/installing-on-linux/public-cloud/install-kubesphere-on-ali-ecs/
 
+https://kubesphere.com.cn/docs/installing-on-linux/uninstall-kubesphere-and-kubernetes/
 
 ## 安装成功日志
 

diff --git a/大数据/hadoop/hadoop.md b/大数据/hadoop/hadoop.md
@@ -127,6 +127,17 @@ https://www.cnblogs.com/cainiao-chuanqi/p/11420490.html
 
 # hadoop集群搭建
 
+## k8s 搭建hadoop集群
+
+https://bbs.huaweicloud.com/blogs/127507
+
+https://github.com/Alanthur/hadoop-kubernetes
+
+https://github.com/ifilonenko/hadoop-kerberos-helm
+
+https://github.com/cclient/kubernetes-hadoop
+
+https://github.com/keremceliker/Deploy-a-Hadoop-Big-Data-Cluster-using-Cloudera-CDH-6.x-on-Docker-Container
 
 配置文件修改
 

diff --git a/大数据/hadoop/hive.md b/大数据/hadoop/hive.md
@@ -11,8 +11,31 @@ Hive 在执行一条 HQL 的时候，会经过以下步骤：
 生成物理执行计划：遍历 OperatorTree，翻译为 MapReduce 任务；
 优化物理执行计划：物理层优化器进行 MapReduce 任务的变换，生成最终的执行计划。
 
+Hive 的核心是驱动引擎， 驱动引擎由四部分组成：
+
+- 解释器：解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST）
+
+- 编译器：编译器是将语法树编译为逻辑执行计划
+
+- 优化器：优化器是对逻辑执行计划进行优化
+
+- 执行器：执行器是调用底层的运行框架执行逻辑执行计划
+
+
+元数据，通俗的讲，就是存储在 Hive 中的数据的描述信息。
+
+　　Hive 中的元数据通常包括：表的名字，表的列和分区及其属性，表的属性（内部表和 外部表），表的数据所在目录
+
+　　Metastore 默认存在自带的 Derby 数据库中。缺点就是不适合多用户操作，并且数据存 储目录不固定。数据库跟着 Hive 走，极度不方便管理
+
+　　解决方案：通常存我们自己创建的 MySQL 库（本地 或 远程）
+
+　　Hive 和 MySQL 之间通过 MetaStore 服务交互
+
+
 https://tech.meituan.com/2014/02/12/hive-sql-to-mapreduce.html
 
+https://www.cnblogs.com/qingyunzong/p/8707885.html
 
 # hive 启动
 

diff --git a/常用命令/系统常用命令/Linux/Linux常用命令.md b/常用命令/系统常用命令/Linux/Linux常用命令.md
@@ -758,6 +758,8 @@ systemctl restart docker
 
 https://stackoverflow.com/questions/44698283/how-to-completely-uninstall-kubernetes
 
+https://www.kuboard.cn/install/install-k8s.html#%E7%A7%BB%E9%99%A4worker%E8%8A%82%E7%82%B9%E5%B9%B6%E9%87%8D%E8%AF%95
+
 # docker
 
 docker stop $(docker ps|awk '{print $1}')