LLM 生態圈交流
成為 AI 知識使用者與供應者之間的橋樑。
舉辦 LLM 普適化的教育課程、展會、專業研討會，以及圍繞產業應用與智慧製造等重要議題的技術交流會。
為學術界、產業界與 AI 愛好者提供學習和交流的平台，推動 AI 技術的創新與應用。
企業導入 LLM 的三個階段
LLM 平台落地測試、評估與優化
以獨立第三方角色，提供 AI 系統的效能評估與基準測試。
協助國內外產業執行 AI 系統效能評價、Benchmarking，並配對組合最適的 Edge Landing 平台。
客戶能準確辨識系統的優勢與待改進處，據以優化技術方案、提升整體效能表現。
分析式與生成式 AI 平台設計
針對特定主題設計分析式與生成式 AI 平台。
涵蓋模型微調（fine-tune）、嵌入式組件（embedded）、檢索增強生成（RAG Plus）、智慧代理人（agent）與動態工作流程（chain）。
提升業務自動化水準，在客戶服務、內容創作、資料分析等領域發揮 LLM 的潛力。
實測於 Jetson Orin
量化到 4 bits，速度快三倍，準確率幾乎不掉
以 7B 模型為例，16 bits 每秒生成 10.37 個 token，量化到 4 bits 提升到 33.6 個； MMLU 準確率只從 59.13% 降到 58.93%。這組數據說明大型語言模型確實可以跑在邊緣裝置上。
- 2B
- 62.5142.724.03
- 7B
- 33.621.2710.37
- 13B
- 19.0511.355.35
- 34B
- 8.64.48
- 72B
- 3.31
- 2B
- 39.11%39.94%39.53%
- 7B
- 58.93%59.13%59.13%
- 13B
- 54.8%57.54%57.89%
- 34B
- 約 70.1%69.82%
- 72B
- 75.44%
速度單位為每秒 token 數。34B 與 72B 的高精度版本放不進裝置記憶體，因此只有量化版本的數據。
Edge Landing 七項落地服務
模型在企業自己的環境裡執行，資料不必離開現場。
強化檢索生成（RAG plus）
在高階個人電腦上，用自然語言查詢就能在短時間內翻遍海量公司文件。
進階強化式檢索生成結合大型語言模型，可以處理技術文本、機台說明書這類大量的內部文件。
一般的 RAG 框架搜尋精準度不高、文件雜訊多。RAG plus 引入四個優化模組修正這些問題，讓企業在巨量的私有資料中檢索到正確資訊。
應用情境
- 智慧企業文本管理中心
- 網站偵蒐與摘要
- FAQ 智慧助手
- 會議演講即時統整摘要
智慧身份識別與安全控管
把影像與語音辨識放進樹莓派，做出不依賴雲端的即時身份驗證與安全監控。
結合影像及語音辨識技術至大型語言模型，並在資源受限的邊緣裝置上實現。
使用者可以透過語音指令直接控制機械，並即時取得回饋，強化安全管理與控管能力。適用於工業安全、車用安全、個人化居家控制等場域。
應用情境
- 互動式問答隨身助理
- 語音辨識與合成
- 即時影像身份識別
- LLM 機械控制驅動
自動化演講摘要
把講座、會議與影片的語音即時轉成文字，再整理成摘要。
以語音辨識取得逐字內容，交給大型語言模型統整重點，並可辨識多位講者的聲源方向。
應用情境
- 即時講座摘要
- 多人會議統整
- 語音筆記
- 影片內容總結
RISC-V 知識小助手
舊站名稱：編程知識小助手
以 LLAMA2-7B 為基礎、專攻 RISC-V 領域的知識助手，還能直接畫出流程圖。
這款工具具備 RISC-V 領域的專業知識，並透過硬體 AI 加速器有效降低運算成本。
除了文字回答，還能生成 Mermaid 與 Wavedrom 等格式的流程圖，提供更完整的技術支援。
支援的資料型態
- Markdown
- Mermaid
- Wavedrom
- Graphviz
特殊資料型態智慧語言模型
舊站名稱：智慧表格語言模型
讓語言模型讀得懂 PDF、表格與流程圖，而不只是純文字。
聊天型開源語言模型只能接受文字輸入，遇到 PDF、表格（csv、xlsx）或本體論圖這類資料時，常常無法判讀或結果不精準。
聯盟開發了一套特化的資料處理架構，搭配經過微調的語言模型。使用者上傳自己的資料，模型就能根據這些資料與使用者對話。
支援的資料型態
- PDF 資料
- 圖片中的文字
- 表格資料
- 流程圖（Flowchart）
- 本體論圖（Ontology graph）
客製化邊緣裝置部署
在能力不同的邊緣裝置上，找出最適合的語言模型。
聯盟針對各種大型語言模型，在邊緣裝置上評估可行性、效能與模型能力，找出最適合在邊緣運算環境中執行的組合。
應用情境
- 智慧企業文本管理中心
- 網站偵蒐與摘要
- FAQ 智慧客服
- 演講統整智慧助手
- 智慧鏈與智慧代理人
AIoT 歷史配方經驗擷取
從歷史生產資料中，萃取配方與製程參數的經驗知識。
把累積在設備與生產紀錄裡的經驗，整理成語言模型可以查詢與推理的知識。
應用情境
- 製程參數建議
- 配方經驗傳承