語音轉文字 AI 怎麼用在客服電話?金融、保險、房仲把通話轉成意向標籤的 4 個步驟

客服中心的錄音檔案夾裡,每個月新增幾千通錄音,檔名只有日期和分機號碼。主管想知道上個月有多少通電話其實是在問「能不能分期」,業務想知道哪些來電者已經在比較兩家方案,但除了抽幾通來聽,沒有人有辦法回答。錄音存在,內容卻等於不存在,因為它從來沒有變成可以查詢、可以分群的欄位。

語音轉文字 AI 用在客服電話的做法,是把每通錄音先轉成逐字稿,再用語言模型從逐字稿抽出「來電原因、需求、時程、異議、下一步」,最後寫成標籤放進名單。這篇依序拆解四個步驟,並分別示範金融、保險、房仲三個業別的標籤長什麼樣,最後說明個資與錄音告知要守的邊界。

語音轉文字做客服電話分析,流程只有四步

語音轉文字不等於意向分析,中間還隔著抽取和標籤設計兩層,缺任何一層,產出都只是一份很長的逐字稿。完整流程是四步:轉寫、抽取、標籤、回流。

第一步是轉寫。 把錄音轉成帶說話者分段的逐字稿,至少要分出「客服」和「來電者」。語音辨識這幾年進步很快,OpenAI 在 2022 年發表的 Whisper 研究,用了約 68 萬小時的多語言音訊訓練(Radford 等人,《Robust Speech Recognition via Large-Scale Weak Supervision》),讓中文轉寫在一般通話品質下已經堪用。但電話是 8kHz 窄頻音質,加上專有名詞、保單條款、地名與路名,上線前一定要用自己的錄音抽樣算一次字錯率,不要直接相信廠商簡報上的數字。

第二步是抽取。 這一步交給語言模型,輸入逐字稿,輸出固定格式的欄位,例如來電原因、提到的商品、時程、預算區間、競品、異議、客服承諾的下一步。欄位要事先定義成封閉選項,而不是讓模型自由摘要,因為自由文字無法分群,只有封閉選項才能算「上個月有多少通在問分期」。

第三步是標籤。 把抽取結果轉成意向強弱與需求類型兩組標籤。意向強弱建議只分三級(高、中、低)並寫明判斷規則,需求類型則依業別定義,下面三節各給一組範例。

第四步是回流。 標籤要寫回顧客資料,才會被後續的跟進動作用到。常見做法是以 CRM 屬性或自定義標籤的形式匯入顧客數據平台,再依標籤圈選名單,交給業務回電或用 LINE 做後續溝通。關於 CDP 與 CRM 各管哪一段,可以參考本站的延伸閱讀。

延伸閱讀:顧客數據平台是什麼?品牌同時經營 D2C 與經銷通路時,CDP 和 CRM 各管哪一段

通話意向分析四步流程圖解:轉寫(帶說話者分段逐字稿)、抽取(封閉選項欄位)、標籤(意向強弱與需求類型)、回流(寫回 CRM 或 CDP 供回電與 LINE 跟進)

金融業:從「問分期」到「比較利率」的四種信號

金融業的客服來電最常見的意向信號有四種:問分期或額度、比較利率、詢問提前清償、表達不滿或威脅客訴。前三種對應商機,最後一種對應風險,兩者都值得標,但後續動作完全不同。

如果一家銀行的信用卡客服中心導入語音轉文字,可以先從一組很小的標籤開始:

標籤 判斷規則(寫給模型的定義) 後續動作
分期意向 來電者主動詢問分期期數、手續費或「能不能拆」 名單交給分期專案業務,24 小時內回電
利率比較 提到他行名稱,或問「利率比 X 低嗎」 標記競品名稱,月底統計被比較最多的對象
額度調整 詢問臨時額度、永久額度或審核時程 轉額度申請流程,附上進度查詢說明
客訴風險 出現「我要投訴」「找主管」「去金管會」等語句 當日升級資深客服,不進行行銷

這張表有兩個設計重點。第一,每個標籤都寫出判斷規則,因為模型拿到的是規則而不是標籤名稱,規則寫得越具體,標籤越穩定。第二,客訴風險這個標籤的後續動作是「不行銷」,意向標籤除用於業務拓展外,亦用來知道什麼時候該閉嘴。

金融業還有一個特別的地方:同一通電話裡常常同時出現多個意向,例如先問帳單、再問分期、最後抱怨手續費。標籤設計要允許一通電話掛多個標籤,並且另外記錄「主要來電原因」只有一個,這樣統計時才不會把一通電話算成三通。

保險業:把「續保」「理賠」「比較保障」三種來電分開看

保險客服來電的第一個切分,是來電者處在保單生命週期的哪個階段:準備投保、保單期間、續保前後、理賠中。不同階段的同一句「這個保障包含什麼」,意思完全不同。

以產險為例,續保是明確的時間點。金管會要求保險公司在強制汽車責任保險屆滿 30 日前發出續保通知(本站〈LINE官方帳號群發訊息:產險在續保前、換季、事故高峰的發送時機〉引用的規定,實際條文以主管機關公告為準)。這意味著續保期前後的來電,本來就有一批人在確認「要不要續、怎麼續」,這些通話最適合標成「續保意向」,並記錄是否提到「比價」或「換公司」。

建議保險業的標籤分兩層:

  • 階段標籤:準備投保、續保期、理賠中、保單變更。
  • 意向標籤:加保意向、比價中、流失風險(提到解約、退保、換公司)。

理賠中的來電要特別小心。這類來電者通常正處於壓力情境,不適合被標成「可行銷名單」。實務上建議理賠階段的通話只產生「服務品質」類標籤,例如「等待時間抱怨」「文件補件困擾」,不產生加保意向。這是標籤設計上主動排除的規則,要寫進規格書,不要靠業務自己判斷。

另一個常被忽略的用途是業務員品質輔導。逐字稿可以統計客服是否說出法規要求的告知語句、是否有過度承諾,把原本抽查 1 到 2 通的品管,變成每通都能自動掃過。這部分屬於合規稽核,不屬於行銷,使用權限也應該分開管理。

房仲門市櫃台上的耳機與房屋模型情境照

房仲業:電話裡的「看房」「出價」「賣屋」才是真正的意向

房仲的來電有一個和金融、保險不同的地方:買方和賣方都會打進來,而且意向強度最高的信號往往藏在細節裡。「這間還在嗎」是低意向,「這間週六下午可以看嗎」是高意向,「屋主底價有沒有空間」已經進入議價階段。

房仲可以用這組標籤:

角色 標籤 判斷規則
買方 預約看房 提到具體日期或時段
買方 出價討論 詢問屋主底價、議價空間或貸款成數
買方 資訊蒐集 只問坪數、屋齡、管理費等基本資料
賣方 委託評估 詢問自家房屋行情或「幫我估價」
賣方 觀望中 說「先問問看」「還不急」

房仲的通話數量通常不像銀行那麼大,但每一通的單價很高。因此標籤的重點是縮短回電時間:預約看房與出價討論的名單,系統應該當天推給負責的業務,而不是等月報。逐字稿還有一個附帶價值,就是讓新進業務可以回頭看資深業務怎麼回答「屋主底價」這類棘手問題,把個人經驗變成團隊素材。

房仲也要注意:通話裡可能出現第三人的資料,例如屋主姓名、鄰居、家庭狀況。抽取欄位時只留下和交易有關的資訊,不要把整份逐字稿原樣放進業務看得到的後台。

意向標籤要能用,先處理三個容易失真的地方

標籤好不好用,取決於它會不會讓人信,而不是模型有多先進。三個常見失真來源,建議在上線前就處理。

第一,模型把禮貌當成興趣。 來電者說「好,我再考慮看看」,字面上是中性,實際上常常是婉拒。解法是用人工抽樣校準:每週隨機抽 30 通,由資深客服對照模型標籤,算出一致率,低於七成就回頭修規則描述。

第二,同一個詞在不同業別意思不同。 「利率」在銀行是貸款利率,在保險可能是預定利率,在房仲則可能是房貸利率。抽取提示詞要放業別專有名詞表,並附上正反例。

第三,標籤沒有過期機制。 一通三個月前的「比價中」,到今天多半已經成交或放棄。建議每個意向標籤都附上時間戳,並設定有效期,例如 30 天後自動降級,否則名單會越來越髒。

錄音與個資:做之前先確認這 4 件事

法規面的底線是:蒐集錄音要有告知,使用要在蒐集目的範圍內,保存要有期限與權限控管。個人資料保護法第 8 條規範蒐集時的告知義務,第 5 條要求蒐集與利用必須與目的有合理關聯(全國法規資料庫)。各業別主管機關另有電話行銷、錄音保存的規定,以現行公告為準,導入前請法務確認。

可以先檢查這 4 件事:

  • 電話接通前的錄音告知語,是否已說明「錄音用於服務品質與服務改善」,並確認是否涵蓋 AI 分析這個用途。
  • 逐字稿與標籤的存取權限,是否分成「客服主管」「行銷」「稽核」三種角色。
  • 身分證字號、卡號、帳號這類敏感內容,是否在轉寫後自動遮蔽。
  • 保存期限是否明訂,並且逐字稿與錄音檔的期限一致。

如果發現原本的告知語只寫「為提升服務品質」,沒有提到 AI 分析,建議先修改告知語再上線,避免之後被要求回頭補救。

現在可以立刻開始的 3 件事

  1. 從錄音檔挑 50 通,人工聽一遍並自己寫下每通的來電原因和意向,這是之後校準模型的標準答案。
  2. 依你的業別,從上面的標籤表挑 4 到 6 個,每個寫出一句判斷規則,用免費或低成本的語音轉文字工具跑這 50 通,對照一致率。
  3. 找一個固定的接手人,約定「高意向標籤的名單,當天必須有人回電」,沒有人接手的標籤,就算再準也不會產生任何價值。

愛酷的 AccuCDP 是整合網站、CRM、LINE、POS 的跨渠道顧客數據平台,標籤可以用 CRM 屬性或自定義標籤的方式進入顧客輪廓,再依標籤圈選名單、搭配旅程做後續溝通。如果你的客服錄音已經有一批,想知道標籤要怎麼設計才接得上現有名單與旅程,可以來信 [email protected],我們從你手上的 50 通開始看。

常見問題

語音轉文字 AI 可以用在客服電話嗎?

可以。流程是先把通話轉成逐字稿,再抽取需求與意向。轉寫的準確率會受電話音質、口音與專有名詞影響,上線前要用自己的錄音抽樣算字錯率。

客服通話分析要準備什麼?

先備齊錄音檔、錄音告知語與存取權限,再定義 4 到 6 個封閉式標籤與判斷規則。有人工標過的 50 通樣本,才能校準模型的準確度。

通話意向標籤怎麼設計?

標籤分意向強弱與需求類型兩組,意向強弱分高中低三級並寫明規則。每個標籤要附時間戳與有效期,過期自動降級。

客服錄音拿來做行銷會不會違法?

要看告知與目的是否涵蓋。個資法要求蒐集時告知目的,利用要在目的範圍內。如果原本只告知「服務品質」,用於行銷前請法務確認並調整告知語。

關於 AccuCDP

AccuCDP 是愛酷的跨渠道顧客數據平台,整合品牌各渠道的分散數據,透過 AccuID 技術建立單一顧客輪廓,讓數據從「有」變成「能用」。

  • 數據治理:整合網站、CRM、LINE、POS 等數據,通過 ISO 27001 與 ISO 27701 認證。
  • 洞察分析:行為量化、行為探索水流圖、行動時間軸。
  • 顧客精練:多維度標籤,可自由圈選受眾(交集、聯集、差集)。
  • 行銷自動化:EDM、SMS、LINE 等多渠道發送與旅程畫布。
  • 效益衡量:UTM 管理、歸因與貢獻分析。

適用於數據分散在多個平台、需要精準分眾的品牌;若只需單一 LINE 渠道的基礎群發,AccuNIX 就足夠。更多介紹請見 愛酷官網。

資料來源:OpenAI/Radford 等人,《Robust Speech Recognition via Large-Scale Weak Supervision》(2022);全國法規資料庫,個人資料保護法第 5、8 條;本站〈LINE官方帳號群發訊息:產險在續保前、換季、事故高峰的發送時機〉。

2026-11-20T07:11:52+08:00AI應用|

About the Author:

AccuHit 產品營運
愛酷智能科技產品營運|AccuCDP、AccuNIX、AccuFlow.ai、MembeRoyal 的產品脈絡、功能解析與導入實務。
Go to Top