BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//AI聘 - ECPv5.10.0//NONSGML v1.0//EN
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALNAME:AI聘
X-ORIGINAL-URL:https://aipin.io
X-WR-CALDESC:Events for AI聘
BEGIN:VTIMEZONE
TZID:America/Los_Angeles
BEGIN:DAYLIGHT
TZOFFSETFROM:-0800
TZOFFSETTO:-0700
TZNAME:PDT
DTSTART:20260308T100000
END:DAYLIGHT
BEGIN:STANDARD
TZOFFSETFROM:-0700
TZOFFSETTO:-0800
TZNAME:PST
DTSTART:20261101T090000
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
DTSTART;TZID=America/Los_Angeles:20260709T190000
DTEND;TZID=America/Los_Angeles:20260709T200000
DTSTAMP:20260706T133335
CREATED:20260706T115427Z
LAST-MODIFIED:20260706T115427Z
UID:13169-1783623600-1783627200@aipin.io
SUMMARY:100天掌握大语言模型 Week 18 - Distillation & Model Compression（模型蒸馏与模型压缩）
DESCRIPTION:随着大语言模型（LLM）进入产业落地阶段，一个新的问题正在成为AI企业最关注的话题，如何让AI变得更便宜、更快、更容易部署？ \n训练一个GPT级别模型可能需要数千万美元，但真正让企业头疼的往往不是训练成本，而是每天持续不断的推理成本（Inference Cost）。很多企业发现模型效果很好，用户体验不错，但GPU账单高得惊人。 \n于是，一个新的技术方向迅速崛起，Model Compression（模型压缩）与 Knowledge Distillation（知识蒸馏）。这也是OpenAI、Google、Meta、Microsoft、Anthropic等AI巨头正在大规模应用的核心技术。 \n  \n为什么模型压缩如此重要。想象一下，一个175B参数的大模型可能需要数百GB显存才能运行，而经过蒸馏和压缩之后： \n✅ 参数量减少96% \n✅ 推理成本下降50倍以上 \n✅ 运行速度提升数倍 \n✅ 可以部署到单张GPU \n✅ 甚至运行在手机和边缘设备上 \n这意味着，未来最成功的AI产品，不一定来自最大的模型，而可能来自最聪明、最高效的模型。 \n  \n本次讲座你将学到什么？ \n第一部分：Knowledge Distillation（知识蒸馏） \n知识蒸馏被誉为： \n“将大模型智慧传递给小模型的艺术” \n我们将深入解析： \n\nTeacher-Student架构\nSoft Label 与Hard Label\nTemperature机制\nKL Divergence蒸馏损失\nFeature Distillation\nAttention Distillation\nSequence-Level Distillation\n\n为什么： \n\nDistilBERT只有原模型60%的大小\n却保留97%的性能？\n\n答案就在这里。 \n  \n第二部分：Pruning（模型剪枝） \n很多人不知道： \n一个神经网络中大量参数其实几乎没有贡献。 \n那么： \n能不能直接删掉？ \n本讲座将讲解： \n\nMagnitude Pruning\nStructured Pruning\nUnstructured Pruning\nHead Pruning\nChannel Pruning\nLottery Ticket Hypothesis\n\n你将了解： \n为什么95%的参数都可以被删除，而模型依然正常工作。 \n  \n第三部分：Low-Rank Factorization \n如果你学过LoRA，那么你已经接触过模型压缩的核心思想。 \n本次课程将深入讲解： \n\nSVD分解\nMatrix Factorization\nLow-Rank Approximation\nLoRA背后的数学原理\n\n以及： \n如何让一个4096×4096的矩阵减少90%以上参数量。 \n  \n第四部分：Quantization-Aware Training（QAT） \n量化是当前LLM部署最重要的技术之一。 \n但传统量化往往带来明显性能下降。 \n因此： \nGoogle、Meta等公司开始采用： \nQAT（量化感知训练） \n课程将讲解： \n\nINT8量化\nINT4量化\nFake Quantization\nStraight Through Estimator\nPTQ vs QAT\nAWQ\nGPTQ\n\n以及： \n为什么QAT可以让INT4模型几乎不损失性能。 \n  \n第五部分：真实世界案例分析 \n我们将拆解三大经典案例： \nDistilBERT \n\n40%参数减少\n60%推理加速\n保留97%性能\n\nTinyLLaMA \n\n仅1B参数\n却拥有远超体量的能力\n\nMicrosoft Phi-3 \nAI行业近两年最令人震惊的模型之一。 \n它证明了一件事，高质量数据，有时候比更大的模型更重要。 \n  \n本次讲座适合谁参加？ \n✅ LLM工程师 \n✅ AI开发者 \n✅ Machine Learning Engineer \n✅ AI产品经理 \n✅ 数据科学家 \n✅ 希望进入AI行业的软件工程师 \n✅ 对开源大模型感兴趣的技术爱好者 \n  \n一句话总结 \n如果说训练模型是创造智能，那么模型压缩就是让智能真正走向世界。在本次《100天掌握大语言模型 Week 18》课程中，我们将带你深入理解知识蒸馏、模型剪枝、量化训练和低秩分解等核心技术，掌握让大模型变小、变快、变便宜的关键能力。让我们一起揭开AI模型压缩背后的秘密，迈向下一代LLM工程师之路。 \n————————————- \n主办方：AI聘 — 北美数据类、软件类求职服务一站式服务。 \n三大项目为你全程解除求职困扰： \n1. 找到工作再付费的Career VIP项目，为全职岗位求职者提供最专业的支持；\n2. Career Plus项目，为全职求职者提供短期强化训练，低成本一站式求职服务；\n3. Intern VIP项目，为短期实习求职者提供内推、全程面试辅导支持。 \n可登录 www.aipin.io了解更多项目信息和成功案例。\n邮箱: info@aipin.io\n电话: +1 (626) 566 1822
URL:https://aipin.io/event/100%e5%a4%a9%e6%8e%8c%e6%8f%a1%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b-week-18-distillation-model-compression%ef%bc%88%e6%a8%a1%e5%9e%8b%e8%92%b8%e9%a6%8f%e4%b8%8e%e6%a8%a1%e5%9e%8b%e5%8e%8b/
CATEGORIES:直播讲座
ATTACH;FMTTYPE=image/png:https://aipin.io/wp-content/uploads/2026/07/100天掌握大语言模型-18.png
ORGANIZER;CN="AI%E8%81%98":MAILTO:info@aipin.io
LOCATION:https://dataapplab.zoom.us/webinar/register/8317724471564/WN_MD5Qr28NTy62AYRatCnNJQ
END:VEVENT
END:VCALENDAR