Double-P
Hierarchische Top-p-Sparse-Attention für LLMs mit langem Kontext
Betreuer: Prof. Jishen Zhao und Prof. Zhijian Liu · 2025/09 – 2026/01
- Ein hierarchisches Sparse-Attention-Framework vorgeschlagen, das Top-p-Genauigkeit, Auswahl-Overhead und Attention-Kosten gemeinsam optimiert.
- Grobe Top-p-Schätzung auf Cluster-Ebene mit größengewichteten Zentroiden, gefolgt von einer adaptiven zweiten Top-p-Verfeinerungsstufe.
- Bis zu 1,8-fach weniger Attention-Berechnung und 1,3-fach schnelleres End-to-End-Decoding gegenüber dem Stand der Technik bei nahezu unveränderter Genauigkeit.
Paper: arXiv:2602.05191