linux安装 Nvidia驱动/CUDA Toolkit/cuDNN
一、CUDA、cuDNN简介CUDA（Compute Unified Device Architecture）是由NVIDIA公司开发的一种通用并行计算平台和编程模型。它允许开发者利用GPU（图形处理器）的强大并行计算能力来高效处理各种计算密集型任务。CUDA不仅仅是硬件技术，它还包括一套完整的软件生态系统，提供从底层编程接口到高层应用框架的一系列工具，使得非图形领域的应用程序能够利用GPU进行加速。
cuDNN（CUDA Deep Neural Network）是NVIDIA提供的针对深度神经网络计算的GPU加速库。它是NVIDIA Deep Learning SDK的一部分，为标准例程如前 ...
大模型发展历程
NLP课程不完全记录
Parameter efficient fine-tuning
Soft prompts\LoRA\Adapter
模型部署
TorchServe, TensorFlow Serving，KServe
Diffusers
扩散模型，微调方法等
终端使用
linux(bash)和Windows(cmd)脚本基础知识和使用；分布式训练命令；tmux使用
AI系统架构
hardware-Compiler-infra-Algorithm-agent
VScode
使用.vsix导入extension
数据结构
堆
Tokenization Algorithm
1. Whitespace / Word-level Tokenization（空格或词级分词）最简单的分词方法：按空格或标点切割。
✔ 优点：1. 非常简单 2. 快
✘ 缺点 1. 词表巨大（上百万）2. 完全不能处理新词（OOV） 3. 不适合大型模型
📌 使用场景：早期 NLP（如传统机器学习、bag-of-words）
2. Character-level Tokenization（字符级分词）将每个字符作为 token。
✔ 优点：1. 没有 OOV 2. 词表极小（几百个字符）
✘ 缺点：1. 序列长度极长，训练慢 2. 丢失词内部结构（较难学习语义）
📌 使用场景： ...