FlashInferFlashInfer 是一個集合各種 LLM inference kernel 的 library。提供了 attention, GEMM 和 MOE 的 API。也支援多種 nvidia gpu 架構：turing, ampere, hopper, blackwell。提供多種底層的高效 kernel 實現。
FlashInfer 提出有趣的兩個優化：Cascade A...
最近想要深入學習一些MLsys的開源框架，像Sglang, vLLM和Slime之類的，光閱讀code和文章記憶不深，想說自己來寫一下筆記。第一篇先以最簡單的huggingface transformers為主，順便複習一下以前沒注意到的東西。
Transformers Code Walk Through平常都在用Transformers做事，但裡面的架構卻不是很熟悉，想用看code的方式，...
2025過去了，申請的事情也告一段落，流水帳總結一下工作和研究上的想法。雖然申請結果來沒出來，不過還是順便記錄一下一路上的心得和感嘅（抱怨）。
工作 - AI Software Engineer二月的時候，透過認識的人推薦，進到一間半導體新創擔任AI Engineer，我一直都很想進到業界實習看看，但前兩年一直沒有機會，終於在大學時期尾巴找到一個普普通通的實習工作，雖然也不是沒找到其他的（參...
背景：NYCU CS 大四都2026了還在寫2025上半年心得文，不過，有始有終，把這段旅程做個總結吧！其實也沒修什麼重要的課，稍微寫寫四年的流水帳和心得。
選修邊緣人工智慧教授：吳凱強/學分：3我還是把這堂課叫做ML System (DL System)吧，老師自己也說了是為了吸引學生修課才叫這個名子，但其實這門課並不是教硬體上的應用，而是如何「加速」AI System，在國外這...
2024 找工面試心得Back GroundNYCU CS 大四有接觸過競程但很不強，leet code刷了快兩百題。主要找學期中的實習，其中一個是暑假的。
2024/1/8 Google TW SWE Intern (Reject)第一場：給定字串sorted陣列和request字串找出有幾個字串在陣列裡且他的prefix是request一開始先暴力後來用二分搜Easy...
UIUC 交換教戰手冊 FA’2024這篇是交給國際處的交戰手冊。先感謝前輩們的詳細教戰手冊，出國前我每個都讀了不下10次:Guidebook 2021Guidebook 2022國際處的心得文也幫助我在出國前了解這間學校。
交換申請
從國際處申請，在要交換的那個學期的前一年開始申請 ex.112-1申請113-1的交換
主要看在校成績，語言成績達標就好(TOEFL 100)
TOEFL超過...
A Note on Fine-Tuning Diffusion Models with RLThe banner is generated by d3po.
Table of contents:
Introduction
Preliminaries: Diffusion Model
Preliminaries: Reinforcement Learning
Denoising as a mu...
背景：NYCU CS 大三下學期因為住院修的課太少了，所以就把上下學期的修課心得寫在一起。
必修作業系統教授：張立平/學分：3六次作業、兩次考試，主要就是教電腦作業系統的架構、process的控制、cpu排程、deadlocks、記憶體管理和File System。老師上課講解得很清楚也很好懂，作業本身蠻有料的，很多實作但不會很難，大家都說張立平偏硬，但我覺得還好，考試也沒有到很難...
背景：NYCU CS 大二必修計算機組織教授：蔡文錦/學分：3五次作業、三次考試、三次小考，從組合語言開始教起，然後是CPU架構，然後是pipeline CPU，最後講記憶體和CPU如何處理加減乘除和浮點數。難度而言，這堂應該是三個老師裡最簡單的了，不過我感覺我還是對這種要記很多東西的課很不對盤，加上對硬體實在沒什麼興趣，所以這堂課沒有學得很好。但經過這堂課之後，就對電腦的架構比較...
背景：NYCU CS 大二必修演算法教授：游逸平/學分：3總結來說很不錯的課，整堂課總共五個程式作業，都是上機寫Code的那種，期中末都有分成手寫與上機考，手寫還算簡單，有認真讀一下應該還好，上機說實話也沒有很難，大部分都是模板題或稍有一點變化，老師上課也不錯，講解的內容都算讓人聽得懂。這堂應該是三個演算法裡面最硬的，不過因為都修過競程（一）了，我本來想說演算法應該是水課吧，但我有...
