首頁/離語/第337章 噢(1)
離語_第337章 噢(1)

要偏向於更為全面的文獻資料。生命週期評價的本質是用來評估產品或服務從生產到消費再到廢棄的整個過程對環境和社會的影響,它考慮了資源使用、能源消耗、排放物的產生等方面。那麼為了提高最後基於電力LCA這個領域搭建的專業模型的準確度,對文獻進行精細篩選,選取同時包括流程圖,資料,各單元過程投入產出詳細資料,資料時間地點落去方法,技術細節的文獻,作為最終的資料。將精細篩選後的論文資料,結合unstructed庫進行資料處理。進行資訊精細化拆解與清洗,使以pdf形式儲存的文獻資料透過分割,分割槽,變成便於嵌入模型的結構化資料。對文字進行篩選與清理,影像的內容進行識別,儲存影像的解釋資訊,表格轉化為HT格式。最後統一變成標題加內容的格式。在這裡我列舉了簡單的資料處理流程。首先是對資料進行分割。隨後是對文字進行拆分,識別內容是否為文字,如果是,就填進text_list。將表格轉化為HT格式,將圖片變為圖片解釋資訊。第二部分是知識庫的構建。向量知識庫,能將各類資料(如文字、影像、音訊等)轉化為向量形式進行儲存。資料之間的相似性和關聯性得以量化,不像平時你儲存你的,我儲存我的,向量資料庫給予了一個統一的標準。也正是因為統一了格式,利用相似度對比,檢索更加高效。構建知識庫的流程首先是提取分割文字進行向量化的操作。向量化的本質是將離散的符號資訊,如詞或句子,對映到連續的向量空間中,以便計算機能夠處理。向量化將高維資料轉化為低維資料,保留了資料的關鍵特徵又降低了資料的複雜度。選擇pipecone儲存向量資料,它支援查詢,插入,刪除等一些列操作。選擇weaviate作為向量搜尋引擎,可以透過主題的分類檢索,進行語義搜尋、問答提取等等功能。第三部分是chatbot的構建。先前已經構建好了針對電力LCA領域的專業大模型,但是缺少檢驗模型的手段,即缺少模型最佳化環節,本專案設定透過Chatbot模式,透過與使用者進行問答的形式,檢驗模型是否能呼叫電力行業LCA領域向量資料庫回答該領域專業性問題和時效性問題的有效性。Chatbot是模擬人類對話的一種形式,就我們平時能使到的chatgpt就是以chatbot的形式來呈現的,而chatbot在這裡的功能實現主要是為了體現檢索功能,大致可分為知識庫檢索功能和線上搜尋。那麼就產生了三種檢索模式。

僅基於大語言模型,連線知識庫搜尋,和線上搜尋。前端部分我採用streait來完成,UI設計如圖所示。這邊是功能按鈕,中間是對話方塊。先前有講到了,我們來檢測針對專業領域的大模型的標準就是檢測是否有能力回答專業領域的問題,並針對結果進行最佳化。這裡我向chatbot提出同一個問題。只採用大語言模型,採用知識庫與大語言模型結合,和聯網搜尋與大語言模型結合。三種功能下獲得的回答是完全不同的,後面兩個檢索功能均為大語言模型優化了生成回答的準確性,對大語言模型的專業領域知識做了補充和改善。可以看到普通的大語言模型回答的是最簡短的,採用了知識庫的回答,將答案細分,擴充,並添加了新的內容,附上參考文獻。最後的聯網搜尋,將答案分為了幾類,更加全面,但是每類回答點到即止。最後就是向量知識庫進行最佳化。對於準確率低的查詢,分析模型回應錯誤的原因。如果是由於知識庫中缺少相關資訊,可以透過新增更多相關文件和資料來增強向量知識庫的覆蓋範圍。使用者反饋是對輸入的問題和產生的回答進行記錄,方便針對性進行調整。反饋可以直接用於指導向量知識庫的更新和最佳化。不斷地測試來完善我的專業領域大模型。最後一部分是我本次研究的總結。首先建立了一個能被大語言模型直接呼叫的專業知識庫,在電力LCA這個專業性較高的領域填補了大語言模型的空白。其次是採用RAG技術,將知識庫,聯網與大語言模型相結合,增強了大語言模型在特定領域的可信度和實用性。最後就是本次研究雖然是針對電力LCA領域,但其背後的構架適用於各個領域,構建了一個完整的體系,可以進行修改,全方面的輔助大語言模型,應用廣泛。以下就是我的全部研究內容請各位老師批評指正。

3.3.2 資料預處理

Unstructured 庫是一個強大的工具,專為處理非結構化資料設計,具體流程如圖 3.7 所示,

如從文字文件、PDF 檔案或網頁中提取資料。它支援多種資料提取方法,包括正則表示式匹配、自

然語言處理(NLP)技術等。

資料預處理步驟如下:

步驟一:資料清洗

去除雜質:從文字中去除無關的字元,如特殊符號、空白行等。

格式統一:將所有文字統一為相同的編碼格式,通常為 UTF-8,以避免編碼錯誤。

語言標準化:統一不同術語的使用,例如將所有“photovoltaic”統一替換為“PV”,確保術語的

一致性。

步驟二:資訊提取

。等件條驗實、論結要主、法方究研如,訊資鍵關的中獻文識標:識標訊資鍵關

。等果結究研、份年版出、者作如,類分料資將別型訊資據:類分料資

換轉化構結:三驟步

猜你喜歡
一屍兩命?我改嫁紈絝抄了渣男全家

【虐渣 追妻 1VS1雙潔 女主人男配雙重生 全家火葬場]

皇帝病危,宮中無皇子。

虞知寧嫁靖王世子裴衡三年,琴瑟和鳴,是太後秘密養在外面的女兒。

太後心疼女兒,扶裴衡上位。

註冊前,虞知寧被靖王府以祈福的名義騙到寺里上香,半路被俘,鞭撻三天,受盡屈辱後,被劫匪扔在城門口,鬧得滿城都知。

為了保護面子,裴衡不查真相,反逼她自殺,連同腹中的孩子一屍兩命。

在她生氣之前,她的表妹巧笑着告訴她,劫匪不是劫匪,而是家人假裝為她的表妹找人,抓住她的生命,踩在她的骨頭上,這樣她的表妹就可以佔據她所有的東西。

而這一切,還有裴衡的縱容!

於知寧含恨而死,帶怨重生回到髮夾前一天

她拋繡球改嫁花花花景王世子裴玄。

全京都在等着看笑話

但後來裴玄做了太子,她做了太子妃妃

幾天後,裴衡造反失敗,靖王府全族被抄襲。當囚車經過她時,裴衡紅眼跪在她腳下求原諒:“阿寧,你應該嫁給我!”

不是瘋批反派嗎?怎麼紅眼要抱抱

【瘋批陰濕反派×嬌軟小慫包】 【穿書+1V1甜寵+上位者為愛當狗+強性張力佔有慾】 江鹿伊穿成了三集必死的惡毒女配。 開篇就是地獄模式,不僅滾錯床單,還順手給那位瘋批反派開了瓢。 男人捏碎茶杯,冷笑:“想怎麼死?” 她眨眨眼,“......爽死?” 他眸色一沉,將她拖入暗室。 整整三日,寸寸碾磨。 “還作么?” 她扶着腰秒慫:“不了不了。” 他勾唇,將人撈回懷裡。 “晚了。” “作死是你開的頭,怎麼結束,得我說了算。” 從此,京城皆知昭王晏沉養了只嬌雀。 捧在掌心,誰碰誰死。 直到某天他發現,這隻嬌雀心裡,竟還偷偷戀着原書男主。 他瘋了。 紅着眼將她困在臂彎,聲音低啞,幾近乞求: “以後,只看我一個人好不好?” “我比他會搖尾巴。” “汪汪......” 說好的陰濕瘋批呢? 他怎麼自己先當上狗了? 【食用指南】 1.女主是真的美,男主是真的瘋。 2.男主日常:在“發瘋弄死所有人”和“搖尾巴求摸摸”之間反覆橫跳。 3.女主日常:在“怎麼才能跑路”和“算了跑不掉”之間反覆躺平。 4.1V1,HE,所有男配都是play的一環。

玄學嬌妻人美心狠,王爺一寵到底

【女強 甜寵 醫妃 玄學 爽文】

玄門大師陸昭菱修復龍脈時被炸飛,穿越周朝。

靈魂不穩時撞進晉王懷裡,立刻給自己抱了一條大粗腿。

於是,陸家的災難開始了。

她屠版了京城小報頭條。

各行各業的惡魔紛紛瑟瑟發抖。

她的東西,誰碰誰倒霉,她的身份,誰占誰吃虧,她要保護的人,閻王也拿不去。

一眼看生死,一符去百病,一手掐霉運,還時不時看到財富,撿起來就不愁吃喝。

死後只剩下一塊牌位的太上皇:兒砸!聽她的!一定要讓她保我大周強盛!

晉王:王妃這麼強,本王的腿還抱着嗎?

嫡姐搶嫁窮書生,我獨霸後宮!

【雙重生換親+宮斗+非雙潔+後期獨寵+女主人間清醒】

沈知念和嫡姐沈南喬一起重生了。

前世,她被父親嫁給窮苦門生;嫡姐選秀入宮,還未侍寢便被封為貴人。世人皆道嫡姐貴不可言,她們有雲泥之別。

誰知道後來,沈知念嫁的窮書生連中三元,封侯拜相,她成了本朝最年輕的一品誥命夫人。

而嫡姐不得帝王喜愛,在深宮蹉跎半生,最後被陷害慘死。

沈知念再次睜眼,發現自己竟重生回了定親前。嫡姐搶着要嫁給窮書生,讓她入宮選秀。

她很高興。

因為書生雖有一些才華,卻心比天高,家裡更是有刻薄的婆母,難纏的小姑。前世之所以走出了一條青雲路,全靠她嘔心瀝血為他打點、奔走。

這輩子,嫡姐想要的風光,全都不會有。

而帝王年輕俊美,後位空懸,入宮的女子皆有機會爭上一爭。

沈知念自小便明白,男人靠不住,只求榮華富貴,不求一絲真情。

一品誥命夫人,哪比得上母儀天下?這一世,這潑天的富貴,就讓她來享吧!

然而沈知念漸漸發現,後宮居然還有穿書女,和身負系統的攻略者。

無所謂,都刀了!

可是誰能告訴她,為什麼帝王看她的眼神,越來越不對勁了?

小皇叔,王妃又薅你氣運了!

【女強 甜寵 醫妃 玄學 爽文】

玄門大師陸昭菱修復龍脈時被炸飛,穿越周朝。

靈魂不穩時撞進晉王懷裡,立刻給自己抱了一條大粗腿。

於是,陸家的災難開始了。

她屠版了京城小報頭條。

各行各業的惡魔紛紛瑟瑟發抖。

她的東西,誰碰誰倒霉,她的身份,誰占誰吃虧,她要保護的人,閻王也拿不去。

一眼看生死,一符去百病,一手掐霉運,還時不時看到財富,撿起來就不愁吃喝。

死後只剩下一塊牌位的太上皇:兒砸!聽她的!一定要讓她保我大周強盛!

晉王:王妃這麼強,本王的腿還抱着嗎?

誤嫁皇叔:囂張醫妃惹不得周時閱陸昭菱

【女強 甜寵 醫妃 玄學 爽文】

玄門大師陸昭菱修復龍脈時被炸飛,穿越周朝。

靈魂不穩時撞進晉王懷裡,立刻給自己抱了一條大粗腿。

於是,陸家的災難開始了。

她屠版了京城小報頭條。

各行各業的惡魔紛紛瑟瑟發抖。

她的東西,誰碰誰倒霉,她的身份,誰占誰吃虧,她要保護的人,閻王也拿不去。

一眼看生死,一符去百病,一手掐霉運,還時不時看到財富,撿起來就不愁吃喝。

死後只剩下一塊牌位的太上皇:兒砸!聽她的!一定要讓她保我大周強盛!

晉王:王妃這麼強,本王的腿還抱着嗎?

全家欺辱我,我轉身母儀天下

前世。錦寧是永安侯府的直女。

秦天監早就預言她是天生鳳命。

每個人都認為她將成為未來的太子妃,最終登上鳳位。

她本該拿的是,千嬌百寵,榮華一生的劇本。

出乎意料的是,婚姻在即。

永安侯府真正的鳳命直女回來了。

從此,父母討厭她,哥哥討厭她,太子討厭她卑微的出身。

他們都把鳳命直女捧得高高的,然後斷了她的生路,逼她以死殉節。

重來一世。當有人想用一杯媚酒,讓她自斷鳳命。

想起前世,她為保名節自殺而死。

她想,這一次,她不要名節,她要活下去。

於是,她驚慌失措,跌入一人懷中,勾住那人的脖子,主動見面。

那人沉聲問:你知道我是誰嗎?

錦寧朦朧中,看到那人深邃冷肅的眼神,喃喃地喊道:陛下!

皇帝:既知我是誰,還不滾下去!

錦寧:求陛下...疼我。

皇帝...一夜春情,皇帝準備了一本書。

她不認賬,直到幾個月後,珠胎暗結...

重生凰妃:誰還敢惹我啊?

前世,她錯誤地把渣男當成真愛,落得眾叛親離,灰飛煙滅的悲慘結局。

一旦重生,慕九歌誓要報仇雪恨!

惡女作妖?一腳踢到奶奶家。渣男談戀愛?一巴掌糊在他臉上。

廢柴反擊,驚艷天下!求親者踏破門檻,繞城八圈。

只是冰山大師,前世明明寵她如寶,今生怎麼愛不理她?她不得不化身小萌寶,撒嬌賣萌求抱。

師傅:逆徒,休要胡鬧!

慕九歌:一日為師,終身有效!

玄學棄婦覺醒後,冷王求做我續命符

為了當年的驚鴻一瞥,江清婉隱姓埋名嫁入將軍府,花了半身修為幫秦家改命。

誰知男子曾經回到北京,帶回了美麗華貴的縣主。

婆婆明褒暗貶地逼她讓位,甚至喊了她五年母親的養子,也輕蔑地看着她。

“你是一個商女,怎麼配做我媽媽?”

看透一切的江清婉拋下一紙和離書,收回了對秦家的保佑,讓他們厄運纏身。

本想逍遙離京,卻遇到了身負怪命格的九王爺,竟能幫她恢復修養。

她成了九王爺的幕僚,京城謠言四起,都說她是王府的外室嬌娘。

男人冷着張俊美如仙的臉,充滿了厭惡。

“她只是我邀請的天師。”

後來,江清婉成了著名的東京神算,京中權貴紛紛跪求一卦。

前夫後悔不已,糾纏不清,一聲“婉婉”喊得真心切。

貴氣清冷的九王爺化身醋精加寵妻狂魔,抱着人的小腰宣誓主權。

什麼天師?這是他的小嬌娘。

設置
夜間
日間

向上滑動顯示閱讀菜單

提示