Popular repositories Loading
-
WeakWater-30M
WeakWater-30M Public本项目从零开始构建并优化了一个千万参数级别的大规模预训练语言模型,涵盖预训练、有监督微调(SFT)和R1推理蒸馏三个阶段。项目采用自定义Transformer架构(包括RMSNorm、分组注意力、多Query机制、SwiGLU激活和RoPE位置编码),实现高效的长文本处理和自回归生成。同时,开发了基于BBPE编码的分词器,针对中文进行了优化,构建了轻量级词表。预训练阶段通过混合精度训练、梯度…
-
OJ-Algorithms
OJ-Algorithms Public欢迎来到我的算法笔记仓库!本仓库整理了我一年来整理的高效算法模板与笔记,内容涵盖了图论、数据结构、数据库、模拟与字符串处理、搜索与回溯、动态规划、贪心以及数学知识等多个方面的内容。每个文档均附有详细的算法解析和C++代码示例,旨在帮助更好地理解算法原理以及如何在OJ(在线数学系统)中大家应用C++与STL。
-
Transformer-from-Scratch
Transformer-from-Scratch Public本仓库定位为 AI论文复现 / 从零实现 Transformer。 代码遵循原论文的模块划分,包含位置编码、多头注意力、前馈网络、编码器‑解码器等全部组件,并附带详细的中文拆解文档与英文注释,方便学习与二次开发。
Python
Something went wrong, please refresh the page to try again.
If the problem persists, check the GitHub status page or contact support.
If the problem persists, check the GitHub status page or contact support.