前言
近期諾貝爾物理學獎頒發給AI科學家John J. Hopfield、Geoffrey E. Hinton，讓許多人感到詫異。當獲獎電話打到加州時，Hinton教授正像往常那些平凡的下午一樣，準備去一個廉價酒店做核磁共振，或許平凡中就蘊藏著杰出，正如人工智能以潤物細無聲的方式進入千行百業和人類生活。
人工智能從1956年概念提出開始，經過了幾起幾落；而今大模型似乎摸到了AGI門口，各界摩拳擦掌都在嘗試用這項新技術推動行業變革，顛覆地提升生產力。本文嘗試從生產力要素的視角，思考大模型技術如何幫助電力行業進行生產力提升。
一、大模型發展和理解：從深度學習到大模型，從點到面的能力突破
1、深度學習：GPT的試金石？
回顧Hinton2007年在《科學》上發表題為"Reducing thedimensionality of data with neuralnetworks"的論文，該篇論文是公認的深度學習里程碑，但在2007-2010年期間每年引用次數僅為100次左右，無人無津；同時期，2007年李飛飛啟動ImageNet項目， 2011第二屆圖像識別競賽提交13份，而上一屆是35份；彼時Nvidia的GPU已經通過CUDA改造初獲成功。算力+算法+數據三駕馬車的加持下，2012年Hinton帶隊開發AlexNet參加ImageNet第三屆，一舉將錯誤率從上一屆的25%降低了11%，高出第二名41%，深度學習技術路線至此獲得各界認可，得以蓬勃發展。從這里我們可以總結：AI就是關于三駕馬車的事。
2、GPT的成功：OpenAI做對了什么？
過去十年， GPU算力持續發展下，但人工智能算法變成了瓶頸，深度學習例如RNN在面向文本等任務時無法并行訓練等問題，模型參數規模和訓練數據規模遇到瓶頸。
從下圖可見，從2013年開始解決這些問題的基礎技術已經陸續具備，大模型誕生水到渠成。而為什么是OpenAI？OpenAI的GPT成功做對了什么？簡單說就是在前人（主要是Google做了嫁衣）的基礎上做了集成創新，選對了方向：利用模型來做序列化概率預測任務（即預測下一個Token），實現AI能力遷移學習能力和多任務的泛化性。
圖：OpenAI的成功：選擇比努力重要
3、重塑生產力：大模型如何改變世界？
在思考大模型給行業和人類生活帶來改變之前，我們應該思考的是大模型本身技術能力是什么。籠統來說，大模型能力包括：語言理解和表達能力、知識壓縮能力以及邏輯推理能力。類比人類，前兩者讓大模型可以實現記得住、看得懂，已經比較成熟；推理能力是會思考，是最重要的能力（通往AGI的鑰匙），不過目前還有較大短板，OpenAI 最新發布的o1就是為了提升這個能力。
人類最大的技能是會使用工具。回顧幾次工業革命發展，都是圍繞使用新技術開發出更好的工具來賦能人類的能力，例如望遠鏡賦能眼、汽車飛機賦能腳、紡織機賦能手、計算機賦能腦等等，這些工具本質上來講是人類將目標任務的工作規則，通過硬件或軟件的方式讓工具實現自動化或半自動化，實現生產力躍遷（對應下圖中的模式二）。
圖：當前生產力的三種勞動模式
而那些未能進行這些改造升級的勞動項目分為直接勞動型（對應模式一）和間接勞動型（對應模式二）。這兩種生產模式依然需要人來完成，本質上都是在現有技術條件下還未能實現自動化的工作，需要靠人與環境、與其他人進行信息交換，這個過程通常包含信息檢索獲取、信息分析加工和信息決策，最后在物理執行階段依靠人根據作業過程的反饋來持續作業，無法被機器替代。
這類環節正是制約生產力的關鍵因素，總結起來有三類制約：
（1）某些領域的專業知識還停留在大腦里，不能為計算機所學習和理解；
（2）計算機接收后無法理解、分析和判斷生產條件下的大量外部信息；
（3）物理世界未提供自動執行的“API”接口或者未具備與環境協同作業裝置。
第（3）點可以理解為何當下各種機器人產業如火如荼，除了當前已經出現的掃地機器人、AGV和工廠機械臂的初級版，未來具身智能保姆機器人、自動駕駛虛擬司機、搬運機器人，以及更多不需要具身的其他換進感知智能機器，這些工作都是為了模式一和模式三提供物理執行階段的裝置，可以說解決模式一的問題就是造更智能的機器。
在講（1）（2）制約之前，我們詳細展開模式三分析一下，對腦力勞動者的工作進行拆解，看看其中的勞動性質。除了臨時交辦事項，核心的工作可以分為四類工作：資料收集、信息分析、決策制定，任務督辦。這個過程中會有大量的人與外界系統（計算機系統、物理世界和人等）進行的信息交換、群體的大量討論分析并迭代、任務過程的信息收集跟催和任務迭代等等，這些工作之所以還無法自動化，核心的原因就如上所述存在的（1）（2）的問題。而（1）（2）恰好屬于大模型擅長解決的領域，能夠為腦力勞動者提供更多的腦力智能來提升、甚至替代，從而提高勞動的效率和效果。
至此，我們可以看出今天人工智能產業技術研究方向的底層邏輯。
二、電力行業的生產力需求：圍繞人與電力系統，提升效率和能力的問題
電網行業是電力系統的骨干，承擔著將電能從發電站輸送到千家萬戶的重要任務，包括輸電、變電、配電和用電等關鍵環節。為了高效地開展這些業務，企業內部通常會設立發展、基建、調度、運檢、營銷、配電、物資等多個部門，以確保電力系統的穩定運行和服務質量。
從生產力的角度來看，電網行業的行業特點和痛點，可以籠統歸納為兩個方面：
1. 業務龐大：地域廣、客戶多、設備多、從業人員多
• 地域廣：從農村、郊區到城市，線纜和架空線路遍布全國各地；
• 客戶多：從家庭到企業，事業單位等，幾乎都是電網的直接客戶；
• 設備多：大量的中樞變電站、輸電線和開關柜等設施；
• 從業人員多:需要大量的營銷、運檢等人員進行生產作業；
2. 機理復雜：大電網、電氣化特性等使得電網是一個復雜機理系統
• 復雜性的現狀：電網是一個高度復雜的人造物理系統，涉及到電氣、機械、自動化等多個領域的專業知識，人類目前主要從電網系統運行表征出來的信息來與電網進行交互，包括調度方式計劃、設備檢修和用電計劃，而表征系統除了設備的物理外觀，還需要多個電氣方程進行計算或估算，例如潮流計算、短路計算和穩定計算等，通過分別的計算，最后面向特定任務進行專業決策，中間還需要電力專家的經驗進行過程干預以提升計算效率和效果，所以，這個過程對人和專業性有巨大的依賴。
• 復雜性的挑戰：如果電力系統保持不變，也許可以繼續沿用過去的技術模式；但是隨著“源隨荷動”到“源網荷儲互動”的新型電力系統升級，地上一輛電動車，天上一朵云就可能會導致電網的電氣特性發生變化例如線路負載越限，以及設備損壞例如變壓器高負載導致繞阻溫度發生過高，需要秒級對事件進行感知、分析和決策，這是當前的電網技術體系下的工作模式無法應對的。
所以，站在生產力的角度看：
-電網業務龐大需要大量的從業人員參與勞動過程，是效率提升的問題；
-電網機理復雜需要專業人員參與且仍有提升需求，是能力提升的問題。
三、大模型+電力行業：從易到難、從外而內提升電力行業生產力
針對以上提到的電網業務現狀和提升需求，以第一章所述大模型如何提升生產力為方向，同時結合各類大模型技術的成熟度和能力特性，思考應用大模型提升電網生產力的思路，主要包括兩個方面：
1、作業效率提升方面。
如前所述，業務域大是制約生產力的效率因素，需要人進行相對模式重復性工作，可以從大模型能力角度分為兩個方面：
（1）結合大語言模型解決信息處理任務
當前最成熟的大語言模型（Large Language Model）具備較成熟的語言理解和表達能力、知識壓縮能力，以及初級邏輯推理能力，可以幫助調度、運檢班組長、設備主人、電網規劃專家、物資采購、辦公人員等崗位人員完成信息收集、信息分析、決策制定和流程督辦，需要將大模型的能力（RAG、Agent、Prompt以及必要的預訓練微調等）和業務場景深度融合，把業務專家的工作技能遷移到大模型上。從技術的角度上，今天大模型的能力初步具備，重點是大模型與場景結合的AI工程化。
（2）應用多模態大模型解決環境感知分析任務
電網有大量的設備需要運維、檢修和檢測試驗，這些場景需要與物理環境進行信息交換，包括體力勞動和腦力勞動。體力勞動主要是現場數據采集獲取，但自動化采集技術已經比較完善，例如運維巡視的視頻圖片的采集、現場作業面的視頻采集、設備聲紋錄波、五遙信息等都能夠采集。
關鍵的瓶頸在于沒有直接的技術手段對這些數據進行解析（特別是現場即刻處理），以及解析后的相關聯動分析和處置決策，所以這些作業除了巡視缺陷識別目前應用視覺識別模型外，其他大多無法離開對應的專業人員進行現場或電腦前的參與。而多模態大模型（Large Multimodal Model）利用萬物皆可Transformer的思想，實現了對多模態數據與大語言模型的融合，端到端解決了從感知采集感知理解到信息認知分析的問題。可以展望，在多模態大模型與變電站巡視等領域知識結合后，今天的變電站智巡攝像頭、無人機的單模態為主的執行巡視，將會在未來變成以自動化機器人為主的形式，實現變電站無人化的“望聞問切”全天候巡視。
不過，由于當前多模態大模型采用CLIP思想的對比學習方法，需要的半合成樣本數量是圖像識別模型的百倍千倍，這些樣本數據不像LLM預訓練時可以完全無標注的自監督訓練，而是需要根據使用場景對圖像/視頻等模態樣本進行自動/半自動標注，并且需要輔以一定的審核工作，所以樣本的數量和質量是瓶頸，算力和算法沒問題。如何突破，從技術還是數據角度，還是兩者結合，尚有待觀察。
2、電網專業能力提升方面
隨同諾貝爾物理獎一同頒發的其他獎項，諾貝爾化學獎頒發給了DeepMind的Demis Hassabis 和John Michael Jumper，以表彰其利用在AlphaFold在蛋白質結構預測方面的貢獻，AlphaFold2完成了98.5%的人類蛋白質的預測，而過去數十年人類只預測了人類蛋白質的17%。AlphaFold工作原理粗淺的說是把蛋白質折疊紋路序列化Embedding到Transformer中，結合StableDiffusion進行的蛋白質折疊的序列預測，具體可以見原理介紹[2]。可見大模型技術除了解決文字信息和感知信息的處理理解外，還可以結合專業領域定制專用大模型，來顛覆性解決行業大難題。所以，可以預見AI4S（AI For Science）未來將成為AI領域的重要賽道，成為科研第四范式時代、科學發現的奇點，以后科學成果的涌現將呈現指數級增長。
回顧第2章所述，電網的機理復雜性，幾乎不可能靠大語言模型和多模態大模型來完成，在電網領域，通過構建一個基于Transformer架構的行業大模型，可以重構電網分析方法，實現更高效、更準確的電網管理和優化。
以電網的動態電氣量指標的分析為例，它是電網運行狀態評估的關鍵，傳統分析方法面臨復雜性增加、仿真計算量大耗時過長、穩定性定義局限性、設備動態特性難以準確刻畫、不確定性考量缺失、實時量測限制和非線性約束考慮不足等問題，一定程度上困擾著電網的安全經濟穩定運行目標。并且，整個分析過程是多個算法分布計算，最后如何把結果進行決策和組合計算，還要考慮電力分析的多次迭代，這個過程的復雜度和效率可想而知。這個過程也非常類似與過去NLP幾十年無法突破的問題：傳統NLP思想是把實體識別、詞性標注、情感分析等十幾個不同的任務，在最后面向具體應用的時候進行組裝，這種架構下，從訓練到推理的迭代過程中的優化就是一場災難，而大模型的特點是多任務合一，端到端解決問題，值得借鑒。
以訓練電網分析行業大模型為目標，我們可以將電網中的電壓、電流、負荷等基礎數據，以及有功功率、無功功率等功率類數據，通過特定特征提取方法構造序列化數據，輸入到Transformer架構中，面向預測電網的短期態勢感知和長期運行趨勢分析等任務，例如，通過分析電網的功率因素識別出無功消耗較大的區域，并提出相應的優化措施，通過編解碼架構的“預測”能力，輸出預期的分析結果。通過這樣的方式，可以用一個算法架構實現對大電網海量數據的訓練吞吐能力、大量電氣特征的表達能力，以及基于多頭注意力機制對用戶預期任務目標的精準“理解” 。
其他的例如電網穩定運行、電力系統建模與分析、調度與暫態分析、保護與控制等方面，亦可以參考類似的算法思想進行創新研發。當然，這個過程將會非常復雜艱辛，未來如何落地，還需要業業內各界共同探索和實踐。
另外，還有相對成熟的時序大模型，可以開展一些預測任務，例如天氣預測、負荷預測等場景，目前也正在技術結合場景落地中，預期會有一些成效。
四、實踐心得：大模型應用如何少走彎路
社會各行各業如火如荼嘗試應用大模型技術，浙達能源以能源+AI為目標，也投身其中。行業+大模型應用剛剛起步，如何避免失敗是重中之重，經過大量項目的實踐，我們總結產業+大模型的過程中的部分思考和心得，供大家參考。
-
- 場景驗證迭代方法，先驗證再投資。除了知識問答和客服這些以內容交互為主的C端能力是沿用遷移過來的，大模型的技術在B端還沒有出現成熟的行業化應用場景，更多都是在PMF產品市場需求驗證階段，而大模型投資大，特別是算力硬件，所以選擇場景最重要。如何選擇場景，除了做推演評估，一個比較好的方案是用能場景驗證迭代方法，用當前最新主流大模型進行場景迭代驗證，把一個業務過程分段驗證，一旦驗證通過后，即便無法達到90分，但在基模型+提示詞下也可以拿到基本可用的70分以上，足以讓用戶產生信心進行投資，再進行平臺、算力和專屬模型購置，預訓練和微調等后續完善性工作，通過這些完善工作可以讓系統最大接近用戶的期望值。
- 業務還原剖解方法，用戶也是產品經理。綜上所述，大模型不是打補丁，如果能夠應用成功，可以在生產力層面進行顛覆性提升，本質上是把團隊中最專業專家的能力教給大模型。用戶不再只是項目需求和指揮者，而是項目產品經理，需要業務專家把專業能力剖解出來，通過大模型工程化（RAG、Agent、Prmopt和微調等手段）掌握這些技能。未來大模型技術趨勢是：不需要去干預模型的內置參數，而是通過任務提示（Prompt工程）來正確引導大模型完成任務，用戶將會更直接參與到大模型系統開發中。
- 數據能力是關鍵，數據是大模型的短板。可以說在目前行業場景下，算力和算法都沒有問題，缺的是行業數據（數量和質量），隨著用戶期望的逐步提升，提升大模型的關鍵是收集、沉淀、創造更多的數據。這個過程中，如何將傳統企業內部積累的海量結構化和非結構數據進行治理、加工和挖掘價值，令其成為投喂大模型的“養料”，成為用戶未來最關心的問題之一。
寫在最后
以GPT為代表的大模型技術從2018年推出，2022年底爆火，到今天2024年行業普遍入局試水，已經過去6個年頭。任何一項新技術提出，都需要時間，時間讓技術迭代完善，讓先行者進行業務創新磨合，讓普羅大眾逐步了解、接受和使用。大模型技術由于幻覺不可避免性、工業容錯率低等等問題，時至今日不乏質疑、顧慮和觀望，但路已在，也許今天大模型技術亦如Hinton教授2007提出的深度學習框架一樣，從平凡而生。
[1] Hinton, G. E. and Salakhutdinov, R. R.Reducing the dimensionality of data withneural networks. Science, Vol. 313. no.5786, pp.504-507, 28 July 2006.
[2] 深入剖析AlphaFold算法，知乎，https://zhuanlan.zhihu.com/p/39369976
浙達能源
雙碳科技