超算與并行計算團隊雙獲第五屆先導杯全國優秀獎
2024年11月13日,備受矚目的全國大學生計算機系統能力大賽智能計算創新設計賽(先導杯)決賽在天津大學隆重舉行。本次大賽由教育部指導,全國大學生計算機系統能力大賽組委會主辦,天津大學承辦,旨在推動計算機技術創新,培養高素質專業人才,為國家科技發展貢獻力量。
本屆“先導杯”首次對本科學生開放,共吸引了來自武漢大學、天津大學、華中科技大學、中國科學院軟件研究院等高校和科研院所的200余支賽隊、上千名選手參賽。經過激烈的初賽比拼,最終在兩個賽道上,各有16支隊伍脫穎而出,晉級全國決賽。在此次賽事中,西南石油大學計算機與軟件學院超算與并行計算團隊派出的“夢溪湖”隊(何廣勇、孔星權、劉潘毅)和“石油魂”隊(鄭云鶴、關忠林、梁建新、王政涵)在多模態大模型卷積算子優化賽題中表現出色,雙雙榮獲全國優秀獎,并分別獲得兩臺筆記本電腦。
(獲獎名單)
挑戰與創新:卷積算子優化的技術突破
在多模態大模型中,卷積運算不僅用于圖像處理,還可以擴展到其他模態的數據,是深度學習中常用的操作之一,但是由于其計算量較大,在大型神經網絡中可能成為性能瓶頸,導致訓練時間過長。
在比賽中,參賽隊伍需要通過并行編程等技術手段優化卷積運算。初始算法包含7層循環,涉及多個維度(批次、輸出通道、輸出圖像高、輸出圖像寬、輸入通道、卷積核高、卷積核寬)。其中,非相關的循環可以通過分塊展開,但由于k和c維度的依賴性,限制了c、r、s維度的分塊展開。同時,初始并行算法頻繁訪問全局內存,且數據讀取不連續,導致性能受限。主要挑戰在于如何減少數據搬運開銷和有效安排線程分布,Baseline還存在大量重復計算的問題。
“夢溪湖”隊通過調整循環順序、使用Winograd算法進行優化、將3x3分塊轉化為4x4分塊、采用列訪問共享內存方式、改為樸素乘法卷積形式等手段,將原19681微秒的運行時間優化至2629微秒,取得了約7.49倍的加速比。
“石油魂”隊則采用隱式通用矩陣乘算法,將卷積運算轉換為矩陣乘運算加速,利用三重For循環融合為一個循環,形成隱式矩陣乘,使用共享空間和增大單線程計算任務量等優化技術,將原程序的運行時間優化至2136微秒,取得了約9.21倍的加速比。
指導教師的支持與團隊協作
“夢溪湖”隊和“石油魂”隊的出色表現離不開兩位指導老師的悉心指導。彭博老師和張全老師在備賽期間為隊員們提供了重要的技術支持與精神鼓勵,幫助他們深入理解并掌握相關技術。在比賽過程中,老師們通過線下會議組織隊員進行答辯演練,并對內容進行了詳細的指導與修改,確保隊員們在比賽中充分展現出團隊協作和創新能力。
(左一孔星權,左二劉潘毅,正中張全老師,右二王政涵,右一何廣勇)
展望未來
本屆全國大學生計算機系統能力大賽智能計算創新設計賽(先導杯)圓滿落幕,吸引了來自全國各地的眾多高校參賽隊伍,推動了智能計算技術的創新與應用。這不僅為學生們提供了一個展示才華的平臺,也促進了各高校之間的學術交流與合作。
同時感謝西南石油大學高性能計算中心的大力支持。中心為我們的超算與并行計算團隊提供了先進的計算資源和技術支持,確保隊員們能夠在比賽中充分發揮實力。正是由于中心的支持,團隊才能在技術創新和優化方面取得顯著進展,為此次比賽的成功奠定了堅實基礎。我們對高性能計算中心表示衷心的感謝,并期待未來繼續攜手共進,推動更多科技創新。
在科技不斷發展的今天,超算與并行領域作為推動科學技術進步的重要力量,需要更多的智慧與創新。超算團隊的成員們將會繼續保持奮發圖強的精神,勇于迎接未來的挑戰。將會繼續努力,不斷突破,在未來的科研與技術創新中為行業做出更大的貢獻。
更新時間:2024-11-15