97久久精品人人做人人爽-97久久香蕉国产线看观看-996久久国产精品线观看-9999国产精品欧美久久久久久

隨著第六代移動通信技術(shù)不斷發(fā)展，低軌道衛(wèi)星網(wǎng)絡(luò)憑借覆蓋范圍廣、傳播時延低等優(yōu)勢，已成為我國構(gòu)建空天地一體化信息網(wǎng)絡(luò)的重要基礎(chǔ)設(shè)施。然而，低軌道衛(wèi)星網(wǎng)絡(luò)存在拓?fù)浣Y(jié)構(gòu)隨時間快速變化、鏈路容量有限、業(yè)務(wù)負(fù)載動態(tài)波動等特性，傳統(tǒng)基于靜態(tài)拓?fù)浠蛉志W(wǎng)絡(luò)狀態(tài)的路由方法難以及時適應(yīng)復(fù)雜網(wǎng)絡(luò)環(huán)境，易導(dǎo)致網(wǎng)絡(luò)擁塞和傳輸時延增加等問題。因此，如何在高動態(tài)變化的衛(wèi)星組網(wǎng)環(huán)境中，實現(xiàn)高效、穩(wěn)定的路徑選擇與資源調(diào)度，成為當(dāng)前衛(wèi)星通信領(lǐng)域亟待解決的關(guān)鍵問題。近日，中國科學(xué)院上海高等研究院等研究團(tuán)隊，聚焦星地融合網(wǎng)絡(luò)多路徑路由實時選擇問題，提出了基于元強(qiáng)化學(xué)習(xí)的多智能體協(xié)同技術(shù)，實現(xiàn)了在動態(tài)衛(wèi)星網(wǎng)絡(luò)環(huán)境下的高效路徑選擇與自適應(yīng)路由優(yōu)化。研究團(tuán)隊圍繞動態(tài)衛(wèi)星網(wǎng)絡(luò)環(huán)境下，長距離復(fù)雜端到端路徑選擇與時延優(yōu)化問題展開了系統(tǒng)研究，針對現(xiàn)有路由方法在低軌衛(wèi)星網(wǎng)絡(luò)中存在的網(wǎng)絡(luò)鏈路擁塞波動、策略收斂速度慢等關(guān)鍵挑戰(zhàn)，首次在多智能體強(qiáng)化學(xué)習(xí)框架中引入了元學(xué)習(xí)思想，并提出基于元強(qiáng)化學(xué)習(xí)的多智能體近端策略優(yōu)化的多路徑選擇方法。該方法將星地融合網(wǎng)絡(luò)中多源多目的通信問題，建模為分布式部分可觀測馬爾可夫決策過程，并通過跨任務(wù)經(jīng)驗，共享學(xué)習(xí)具有良好泛化能力的策略初始化模型，使算法在新的網(wǎng)絡(luò)場景中可實現(xiàn)快速適配與穩(wěn)定優(yōu)化。研究團(tuán)隊進(jìn)一步在算法設(shè)計上，基于K最短路徑算法生成候選路由集合，結(jié)合鏈路隊列長度、傳輸時延等網(wǎng)絡(luò)狀態(tài)構(gòu)建局部觀測維度，并通過聯(lián)合考慮端到端時延與鏈路擁塞程度的獎勵函數(shù)，引導(dǎo)智能體形成兼顧低時延與負(fù)載均衡的路由選擇策略。仿真實驗結(jié)果表明，在96顆衛(wèi)星組成的Walker星座網(wǎng)絡(luò)場景下，該方法較傳統(tǒng)路由算法和其他強(qiáng)化學(xué)習(xí)方法，在平均端到端時延方面至少降低5%，并在不同服務(wù)時間條件下保持零丟包率，策略收斂速度明顯提升，展現(xiàn)出良好的穩(wěn)定性與適應(yīng)能力。該研究在理論上實現(xiàn)了元強(qiáng)化學(xué)習(xí)與衛(wèi)星網(wǎng)絡(luò)路由機(jī)制的有效融合，也在復(fù)雜動態(tài)網(wǎng)絡(luò)環(huán)境中展現(xiàn)出較強(qiáng)的魯棒性和可擴(kuò)展性，為未來大規(guī)模衛(wèi)星互聯(lián)網(wǎng)中的智能路由與資源調(diào)度提供了新的技術(shù)思路，對提升空間信息網(wǎng)絡(luò)的通信效率和服務(wù)質(zhì)量具有重要意義。相關(guān)研究成果發(fā)表在《IEEE物聯(lián)網(wǎng)期刊》（IEEE Internet of Things Journal）上。研究工作得到國家自然科學(xué)基金委員會、科學(xué)技術(shù)部、上海市的支持。論文鏈接基于元強(qiáng)化學(xué)習(xí)的星地融合網(wǎng)絡(luò)多智能體協(xié)同技術(shù)流程示意圖不同分組服務(wù)時延條件下，所提技術(shù)與基線算法在平均端到端時延（左圖）和丟包率（右圖）方面的性能對比