
在這六種嵌入式裝置上跑過同一組測試
- Raspberry Pi 4Raspberry Pi低配
- Raspberry Pi 5Raspberry Pi低配
- Jetson XavierNVIDIA中配
- N3000Neuchips中配
- Jetson OrinNVIDIA中配
- Mac StudioApple高配
超人難尋,
鋼鐵人可以量產。
超人
本身能力就強,這樣的員工難尋。
鋼鐵人
普通人加上超級工具,這才是企業賦能員工。
未來屬於會使用 AI 工具的人。企業賦能員工要具備的能力:研讀、綜整/著述/分析/職務與職能的專業知識與經驗傳承/決策與行動
量化到 4 bits,速度快三倍,準確率幾乎不掉
完整測試數據- 33.6tok/s
- 7B 模型量化到 4 bits 的生成速度
- 3.2×
- 比 16 bits 快的倍數
- 58.93%
- 量化後的 MMLU 準確率,只降 0.2 個百分點
- 6種
- 從樹莓派到 Mac Studio 的評測裝置
實測於 Jetson Orin
企業導入 LLM 的三個階段
階段 1
LLM 生態圈交流
成為 AI 知識使用者與供應者之間的橋樑。
舉辦 LLM 普適化的教育課程、展會、專業研討會,以及圍繞產業應用與智慧製造等重要議題的技術交流會。
這個階段的服務階段 2
LLM 平台落地測試、評估與優化
以獨立第三方角色,提供 AI 系統的效能評估與基準測試。
協助國內外產業執行 AI 系統效能評價、Benchmarking,並配對組合最適的 Edge Landing 平台。
這個階段的服務階段 3
分析式與生成式 AI 平台設計
針對特定主題設計分析式與生成式 AI 平台。
涵蓋模型微調(fine-tune)、嵌入式組件(embedded)、檢索增強生成(RAG Plus)、智慧代理人(agent)與動態工作流程(chain)。
這個階段的服務
Edge Landing 七項落地服務
模型在企業自己的環境裡執行,資料不必離開現場。
滑過每一項,看示範現場
- 強化檢索生成(RAG plus)在高階個人電腦上,用自然語言查詢就能在短時間內翻遍海量公司文件。Mac Studio
- 智慧身份識別與安全控管把影像與語音辨識放進樹莓派,做出不依賴雲端的即時身份驗證與安全監控。Raspberry Pi 5 / 4
- 自動化演講摘要把講座、會議與影片的語音即時轉成文字,再整理成摘要。Jetson Xavier
- RISC-V 知識小助手以 LLAMA2-7B 為基礎、專攻 RISC-V 領域的知識助手,還能直接畫出流程圖。N3000
- 特殊資料型態智慧語言模型讓語言模型讀得懂 PDF、表格與流程圖,而不只是純文字。
- 客製化邊緣裝置部署在能力不同的邊緣裝置上,找出最適合的語言模型。Jetson Orin
- AIoT 歷史配方經驗擷取從歷史生產資料中,萃取配方與製程參數的經驗知識。