Env(2) Hadoop部署安装
参考文档:黑马07-hadoop集群安装操作.doc 采用了较新的版本。 1 下载并解压hadoop安装包 Apache Hadoop,以3.4.1版为例,下载压缩包并传至节点1,解压: cd ~/Work/2025 tar -zxvf hadoop-3.4.1.tar.gz -C . 更名: ln -s hadoop-3.4.1 hadoop 2 目录结构 第3节要配置的文件均在h...
参考文档:黑马07-hadoop集群安装操作.doc 采用了较新的版本。 1 下载并解压hadoop安装包 Apache Hadoop,以3.4.1版为例,下载压缩包并传至节点1,解压: cd ~/Work/2025 tar -zxvf hadoop-3.4.1.tar.gz -C . 更名: ln -s hadoop-3.4.1 hadoop 2 目录结构 第3节要配置的文件均在h...
参考文档:黑马资料:05-大数据环境配置统一.doc 原资料是在CentOS 7上配置,下面是在Ubuntu 22.04上配置 1 虚拟机基本配置 1.1 创建并克隆虚拟机 使用Ubuntu 22.04的iso镜像创建虚拟机,并安装Ubuntu系统,命名为node1: 预装vim, net-tools和openssh-server: sudo apt update sudo apt ...
1 引言 近年来,LLM(大模型)发展迅速,如ChatGPT、DeepSeek等;各种LLM辅助编程工具也相继涌现,如Copilot、通义灵码等,极大地提升了编程效率。笔者日常编程使用两种:一是在网页端使用GPT4o_mini,性能较强,但需要将代码从编辑器中复制粘贴到网页会话框,较为麻烦;二是使用集成于VSCode的通义灵码,但性能有限。为了方便,我们通常只会复制单个文件中的一部分代码并...
🔗仓库链接 1 测试环境 1.1 硬件环境 实验使用3台Ubuntu 22.04 x86 PC,硬件配置分别如下: 设备 名称 CPU 内存 PC1 tjopenlab Intel Core i5-3470 3.2GHz 4核4线程 16G...
参考链接:微信自研生产级paxos类库PhxPaxos实现原理介绍 - 知乎 1 什么是Paxos 1.1 一致性协议 Paxos是一个一致性协议。 1.2 分布式环境 异步通信环境指的是消息在网络传输过程中,可能发生丢失,延迟,乱序现象。 几乎所有分布式环境都是异步通信环境。 Paxos是一个在异步通信环境,并容忍在只有多数派机器存活的情况下,仍然能完成一个一致性写入的协议。...
1 原理 Publisher发送时间戳,Subscriber接收时间戳,计算时间差。 实验环境:Ubuntu 22.04 x64, 编译之前需要安装ZMQ库:sudo apt install libzmq3-dev 2 代码 2.1 pub.c #include <zmq.h> #include <stdio.h> #include <unistd.h&...
1 进程、线程和Pthreads 1.1 进程与线程的区别 在计算机科学中,进程和线程是两个基本的执行单元,它们在多任务操作系统中扮演着重要的角色。理解它们之间的区别对于编写高效的并发程序至关重要。 进程(Process) 进程可以被视为一个程序的运行实例。它是系统资源分配和调度的基本单位,拥有独立的地址空间和资源。一个进程可以包含多个线程,它们共享进程的资源,但是进程之间的资源是隔...
1 基本概念 SIMD(Single Instruction Multiple Data, 单指令流多数据流): 一种采用一个控制器来控制多个处理器,同时对一组数据(又称“数据向量”)中的每一个分别执行相同的操作从而实现空间上的并行性的技术。简单来说就是一个指令能够同时处理多个数据。 2 使用方法 2.1 IPP 使用Intel开发的跨平台函数库(IPP,Intel Integrate...
(1)判断大于(>)的效率低,判断等于(=)的效率高。 (2)i++和++i,单独简单使用时,效率相等。 (3)if…else 和 switch…case效率: 如果所有选项出现概率相同,结论是:5个选项(包括default)时,switch和if…else相同。低于5个选项if快,高于5个选项switch快。(C++ Footprint and Performance Opti...
基本类型和函数 set和unordered_set 插入元素:insert("apple") 查找元素:find("banana"),找到返回对应位置的迭代器,未找到返回end()迭代器。常用语句:if (mySet.find("banana") != mySet.end()){...} #include <unordered_set> // 使用 unordered_...