跳到主要內容
myLLM.tw
國家科學及技術委員會
國立陽明交通大學人工智慧系統檢測中心
國科會補助計畫

資料不落雲,AI 要落地。在企業自己的機器上,用上驗證過的大型語言模型。

我們以獨立第三方角色評測模型效能,並把驗證過的模型帶進現場

已發行142篇 AI 電子報,共19

漫畫風格的機器人衝出畫面,象徵 AI 落地到實際場景

在這六種嵌入式裝置上跑過同一組測試

  • Raspberry Pi 4Raspberry Pi低配
  • Raspberry Pi 5Raspberry Pi低配
  • Jetson XavierNVIDIA中配
  • N3000Neuchips中配
  • Jetson OrinNVIDIA中配
  • Mac StudioApple高配

超人難尋,
鋼鐵人可以量產。

超人

本身能力就強,這樣的員工難尋。

鋼鐵人

普通人加上超級工具,這才是企業賦能員工。

未來屬於會使用 AI 工具的人。企業賦能員工要具備的能力:研讀、綜整著述分析職務與職能的專業知識與經驗傳承決策與行動

量化到 4 bits,速度快三倍,準確率幾乎不掉

完整測試數據
33.6tok/s
7B 模型量化到 4 bits 的生成速度
3.2×
比 16 bits 快的倍數
58.93%
量化後的 MMLU 準確率,只降 0.2 個百分點
6
從樹莓派到 Mac Studio 的評測裝置

實測於 Jetson Orin

企業導入 LLM 的三個階段

  1. 階段 1

    LLM 生態圈交流

    成為 AI 知識使用者與供應者之間的橋樑。

    舉辦 LLM 普適化的教育課程、展會、專業研討會,以及圍繞產業應用與智慧製造等重要議題的技術交流會。

    這個階段的服務
  2. 階段 2

    LLM 平台落地測試、評估與優化

    以獨立第三方角色,提供 AI 系統的效能評估與基準測試。

    協助國內外產業執行 AI 系統效能評價、Benchmarking,並配對組合最適的 Edge Landing 平台。

    這個階段的服務
  3. 階段 3

    分析式與生成式 AI 平台設計

    針對特定主題設計分析式與生成式 AI 平台。

    涵蓋模型微調(fine-tune)、嵌入式組件(embedded)、檢索增強生成(RAG Plus)、智慧代理人(agent)與動態工作流程(chain)。

    這個階段的服務

想知道貴公司的 AI 系統表現如何?

會員可取得專業諮詢與平台評測資源。