零樣本動作識別技術

工研院創新前瞻技術研究計畫

動作辨識Zero-shot 第一人稱視角 Top 5 accuracy > 90% 操作評估模組Reaction time < 3 secs/action

實驗室階段

目前缺乏使用者動作確認功能，主要原因在技術的瓶頸與開發成本，zero-shot 動作辨識技術正是解決這些問題的解決方法。另，技術運用Image-based vision language model (VLM)可在約1/4的運算資源條件下運作，同時也解決運算資源需求過高的問題。

可用於各種場域如：教育、培訓、維修、遊戲、廣告等進行動作評估。其中，尤其是高危險作業

個人電腦

軟體設計能力

本技術以單張影像 (image-based) 視覺語言預訓練模型(Vision-Language Pretraining Model, VLP or VLM)為基礎，結合大語言模型(LLM)以及時間序(time sequence) 邏輯推演，運用在第一人稱視角(egocentric) 操作SOP之動作辨識(action recognition) 應用。相較於文獻中的video-based VLM cube embedding，運算量大幅降低，解決了運算資源過於昂貴的實用面問題。

This technology is built upon a single-image (image-based) Vision-Language Pretraining Model (VLP or VLM), integrating a Large Language Model (LLM) and temporal sequence logic deduction. It is applied in action recognition tasks specifically for Standard Operating Procedure (SOP) execution from a first-person perspective (egocentric). In contrast to the video-based VLM cube embedding discussed in the literature, our approach significantly reduces computational requirements, addressing practical challenges associated with costly computational resources.