大数据的技术栈-逐步完善

news/2024/7/24 5:10:42 标签: 大数据

目录

1.hadoop

        a.HDFS分布式文件系统

        b.Yarn集群资源管理器

        c.MapReduce sql引擎

        d.Impala sql引擎

        e.工具概观

2.数据仓库知识

        a.Hive数据库

                1)Hive Sql

                2)数据库结构

        b.Doris数据库

3.混合处理框架SPARK

        a.Spark

        b.集群架构

4.数仓模型知识

5.开发工具

        a.Dbeaver

        b.Idea

6.kafka


转职开始做大数据了,逐步跟着学习的脚本把知识变成自己的

1.hadoop

        a.HDFS分布式文件系统

        b.Yarn集群资源管理器

                前端工作流异常时候 yarn检查异常信息-CSDN博客

                

        c.MapReduce sql引擎

        d.Impala sql引擎

        e.工具概观

2.数据仓库知识

        a.Hive数据库

                1)Hive Sql

                2)数据库结构

        b.Doris数据库

3.混合处理框架SPARK

        a.Spark

                1)SCALA

                        Scala中的选项(Options )-CSDN博客

        b.集群架构

                使用spark进行递归的可行方案-CSDN博客

                spark读取和保存本机文件-CSDN博客

                本机spark 通idea连接Oracle的坑-CSDN博客

4.数仓模型知识

        a.分层逻辑

        b.模型规范

        c.指标检查

5.开发工具

        

        a.Dbeaver

        b.Idea

                windows idea本地执行spark sql避坑-CSDN博客

6.kafka


http://www.niftyadmin.cn/n/5239343.html

相关文章

寻找两个有序数组的中位数算法(leetcode第4题)

题目描述: 给定两个大小分别为 m 和 n 的正序(从小到大)数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。 算法的时间复杂度应该为 O(log (mn)) 。 示例 1: 输入:nums1 [1,3], nums2 [2] 输出&…

研发人员绩效考核难题及解决措施

研发部门是技术型企业的核心人员,研发人员的设计贯穿着产品实现过程包括后续的持续改进。倘若研发人员的设计源头得以保障,那么后续工作包括研发人员的绩效考核,相对简单。接下来华恒智信便根据多年来从事的人力资源相关的服务经验为您对于研…

Motion Plan之轨迹生成笔记 (2)

Motion Plan之搜索算法笔记 Motion Plan之基于采样的路径规划算法笔记 Motion Plan之带动力学约束路径搜索 什么是基于优化的轨迹生成 Optimization-Based Trajectory Planning(基于优化的轨迹规划)是一种常用的方法,用于生成自动化系统&am…

系统运维工具KSysAK——让运维回归简单

系统运维工具KSysAK——让运维回归简单 1.基本信息 1.1概述 系统异常定位分析工具KSysAK是云峦操作系统研发及运维人员总结开发及运维经验,设计和研发的多个运维工具的集合,可以覆盖系统的日常监控、线上问题诊断和系统故障修复等常见运维场景。 工具…

Android Sensor调用从上层到底层

Sensor应用层调用 SensorManager mSensorManager; Sensor mSensor; mSensorManager (SensorManager) getSystemService(SENSOR_SERVICE); //获取sensor服务 mSensor mSensorManager.getDefaultSensor(Sensor.TYPE_PRESSURE); //获取默认sensor类型mSensorManager.registerLi…

[Firefly-Linux] RK3568 Ubuntu固件分区详解

RK为了方便开发与产品定制,自己定义了一套固件的分区,这些分区信息存放在parameter.txt文件中,Firefly参考这个文件定义了自己的Ubuntu分区,文件为parameter-ubuntu.txt,存放于Linux_SDK的device/rockchip/rk356x目录下…

ssh远程连接阿里云CentOS:修改为密码登录

文章目录 控制台添加密钥下载Xshell修改密码连接重启服务:重复Xshell使用密码登录 控制台添加密钥 会下载一个pem文件 下载Xshell 新建 通过public key登录 修改密码连接 passwd root然后输入你想要设置的密码两遍 cd /etc/ssh/ vi sshd_config将PasswordAuth…

掌控安全 暖冬杯 CTF Writeup By AheadSec

本来结束时发到了学校AheadSec的群里面了的,觉得这比赛没啥好外发WP的,但是有些师傅来问了,所以还是发一下吧。 文章目录 Web签到:又一个计算题计算器PHP反序列化又一个PHP反序列化 Misc这是邹节伦的桌面背景图什么鬼?…