UI設計師要如何製定用戶評估體係？

我們在評估產品時，通常會參考一些數據或用戶調研得到反饋。那麼有沒有一個更加係統和客觀的評估方法，能夠幫助我們評估產品呢，比如：

1.定期追蹤產品或服務的整體表現和進展

2.與早期版本、競爭對手、行業基準或利益相關者所決定的目標相比較

3.評估你用戶體驗設計工作的價值

本文介紹的評估體係能夠幫助設計師綜合評價產品的表現，或者幫助設計團隊用可測量的方法記錄設計項目的進度。這個評估體係通常是一整套的流程，而不是一次性的測試。

因此可以把它應用在一個設計周期的末尾或下一個周期之前。許多公司在連續發布產品新版本的同時也會反複收集對應的數據。

流程概述

在首次搭建評估體係的時候，我們需要用到7個步驟。一旦你完成了最初的體係製定，這套流程就能被反複應用在日後的產品更新中，所需的工作量也會大大減少。

一個完整的用戶體驗評估流程包含上圖的這些步驟：

1.首先你要確定測量的是什麼內容和指標；

2.以及需要使用哪種研究方法來收集指標對應的數據；

3.收集你的初始指標數據；

4.並重新設計產品；

5.最後收集更新後的指標數據；

6.對比和解析調查結果；

7.計算投資回報率（ROI）

製定完這個初始流程之後，後續的產品迭代評估（假設評估環境保持不變）就可以從第四步（重新設計產品）開始。

第一步：選擇要測量的內容

選擇測量的內容，意思就是要篩選和確定產品中關鍵的指標，這些指標最好是能夠反映你的用戶體驗質量。

評估環境

先確定你的評估環境，然後才能決定你要收集什麼。你可以從以下幾個方向考慮你的評估環境：

你要關注的產品和平台是什麼？（網站、應用程序等）

你的目標用戶群體是怎麼樣的？

你希望測量的特定任務或功能有哪些？

任務

找出用戶在產品中需要完成的核心任務。如果你的公司沒有現成的核心任務，你可以先開始彙總產品中的（高頻）任務。然後對這些任務進行優先排序，並選出對用戶而言最重要的5-10個功能。

下表列出了多種產品和對應的任務範例。這裏麵的每個產品隻包含了一項任務，但在實際運用中，你往往會需要關注多項任務：

指標

現在你已經找到一係列的任務，你又該如何衡量它們呢？Google的HEART框架能指導你篩選出你可能需要收集和追蹤的指標。下麵是對HEART框架的改編列表。

要評估參與度是否高，那麼完成任務的時間應該很長（例如，在報紙網站上閱讀文章的時間很長），而作為效率指標，完成任務的時間應該很短（例如，在電商網站上快速結賬）。換句話說，同樣的變量（比如更長的時間）可能是好的，也可能是壞的，這取決於你需要測量的維度是什麼。

你需要篩選出長期有效的測量指標，因為在理想情況下，你需要在未來幾年裏反複收集這些測量指標。以2-4個指標為目標，關注用戶體驗的不同維度（例如，幸福感和參與度）。

我們根據前文的產品任務跟蹤列表，列出了一些可能的指標：

對用戶體驗進行基準評估不僅僅隻是追蹤數據，也是展示工作價值的一種方法。當你選擇與公司的業績指標（KPI）相對應的指標時，這就直觀得多了。例如，在以減少客服成本為KPI的銀行業務中，你可以通過對比重新設計前後的客服呼叫數量，來證明重新設計之後的聯係人更改界麵有助於減少客服成本。

第二步：決定如何測量

在考慮收集指標數據的方法時，你必須考慮這些方法所需的時間、預算、所涉及的研究人員能力、以及研究工具。如果你沒有正確的方法，就不要做這件事，因為糟糕的數據，比沒有數據更糟糕。此外，不要製定一個成本太高而無法長期維持的測量計劃（因為基準評估的核心就是一遍又一遍地測量）。

在計劃新的評估活動之前，先看看你的公司有什麼現有的數據是你想要測量的。充分了解這一環節，並將用戶體驗指標與更宏觀的公司商業目標聯係起來，這是很有價值的。當你從其他來源獲取數據時，一定要知道為什麼需要以及如何使用。

對於用戶體驗評估，有3種有效的測量方法：定量的可用性測試、係統數據分析和用戶調研。

定量的可用性測試。參與者會被要求執行產品中最主要的任務，研究人員則負責記錄用戶在這些任務中的表現（例如任務完成時間，成功率，以及滿意度等）。

係統數據分析。自動收集係統已有的使用數據（例如放棄率和功能采納率）。

用戶調研。由用戶來回答問題，反饋他們的行為、背景或建議。常見的指標有：任務輕鬆度、滿意度評分、淨推薦值等。

理想情況下，你可以將調研（用戶自己評價的指標）與行為、觀察（定量可用性測試或分析）結合起來，進而得到一個全麵的用戶體驗反饋。

在下麵的表格中，我們根據前麵提出的產品環境製定了一些對應的測量方法：

第三步：收集初始數據：建立基準線

現在，你已經確定了要收集哪些指標以及如何收集這些指標，接著就是確定這些指標的判斷標準。也就是把初步收集回來的數據作為產品體驗的基準。

不要著急——先做試驗，收集初步的樣本數據，然後做初步的分析，確保你的收集方法是正確的，看看這些數據是否能夠回答你的問題。這種小規模的實驗會讓你更高效的修正方法，但可能會需要你放棄一些原始數據。但是，為了保證在日後更大範圍的數據收集工作中得到可靠的結果，這一環節是值得做的。

在你收集第一組測量數據時，記得要考慮可能影響你數據的外部因素，並在允許的情況下對此進行規劃。例如，假設你在設計一個電商網站，使用數據分析的方法來收集銷售指標時，要小心和排除那些可能幹擾指標的因素，如由於大範圍的營銷活動或大規模的經濟影響而作出更改的設計。

一開始產品的單一測量指標本身可能沒有什麼意義，因為你手上沒有什麼數據可以進行橫向比較。但這個時候你仍然可以與競爭對手、行業標杆或者利益相關者所製定的目標進行比較。

下麵我們提供幾個對比的思路：

你的競品數據。假設在設計一個智能揚聲器App，我們可以參考競品的製定你的基準指標，然後再相應地從自己的產品係統中收集數據。需要注意的是，如果你不能訪問競品的係統數據，就不要將係統數據分析作為你的數據方法。

行業標杆。你可以參考與你的領域相關的外部統計信息。例如，如果你在設計一個酒店網站，你可能想要將你的淨推薦值（NPS）與這個行業的平均NPS進行比較（酒店行業的NPS為13%）
說他們想要一個平均提交時間少於3分鍾的潛在客戶表單，那你就需要將你當前的表單性能與目標值相比較。

至於該如何對比和解析這些結果，請參考第六步的建議。

第四步：重新設計產品

設計迭代版本的詳細過程不在本文的討論範圍之內，但它很重要：沒有重新設計，你就無法比較產品的多個版本。在重新設計產品時，請牢記交互設計的10個可用啟發式原則。

第五步：收集改版後的指標數據

在新設計發布後，再次收集數據衡量。這裏沒有嚴格規定要等多久才能重新測評新設計的用戶體驗。如果你在做的是追蹤分析，持續測量會更有好處。然而，對於那些基於具體任務的數據收集，比如定量的可用性測試和調查，你需要確定收集數據所需的合適時間。

普遍的用戶不喜歡變化，所以在測量之前，給他們一些時間來適應新設計的功能。時間的長短取決於用戶訪問你的產品的頻率。對於每天使用的產品，2-3周的適應時間就足夠了。對於一個用戶每周隻訪問一次或兩次的產品，最好在調查前留4-5周的適應時間。

考慮評估新設計適當時機的時候，記得再留意一下任何可能影響結果的潛在外部因素（參考第三步）。

第六步：分析調查結果

這個時候你已經收集了至少兩套數據，是時候分析你的結果了。注意你不能用表麵價值來衡量你的指標，因為你的研究樣本可能遠遠小於你實際的用戶總數。所以，你需要使用統計學方法，以確定數據中任何可見的差異是真實存在的，或是隨機幹擾造成的。

一般來說，解讀基準指標的方式，與你的產品環境、以及你選擇的指標高度相關。比如，開支報告App的任務時間與手機遊戲的任務時間是不同的。接下來，我們將概述前麵討論過的測量環境，以及對研究結果的解讀。

測量環境：添加和設置智能揚聲器

假設我們已經結合了可用性測試和用戶調研來收集任務時間、成功率和SEQ。下表是我們初始設計和重新設計的指標數據彙總：

結果表明：任務完成時間基本一致的情況下，成功率和SEQ平均值都提高了。假設我們已經排除了這兩個指標在統計上的顯著差異。那總的來說，在新設計中，用戶更加滿意，更容易成功完成任務。因此新設計的版本改進是有效的！

第七步：計算ROI（可選）

通過基準評估，你可以追蹤你的設計績效和展示你工作的價值。一種展示價值的思路是將用戶體驗指標與公司的商業目標聯係起來，然後計算投資回報率（ROI）。計算的時候可以把體驗指標對應到公司的KPI，如利潤、成本、員工生產力或客戶滿意度等。設計師學習如何計算ROI是很有幫助的，這讓你可以更有力地說明用戶體驗對產品的影響。

展示基準評估的結果

最後，在分析完結果並與利益相關者分享你的收獲時，你的目的是要通過這些數據來講述一個故事。有些領導會喜歡看到定量的數字，但這並不意味著你不能將一些定性的研究數據與你的結果相結合，來幫助聽眾對你的用戶產生共鳴。

此外，在向利益相關者介紹時，一定要記錄下所有的假設和可能混淆的變量。雖然你可能不需要直接對這些內容進行解釋，但你如果能在報告附錄中加上這些內容，可以顯示出你對產品環境的全麵理解。同時，當你遇到任何與測量有效性相關的問題時，你可以很方便地引用這些內容。

結語

基準評估是一個很強大的工具，它可以把用戶體驗工作與整個公司的商業目標聯係起來。這裏再次總結一下整個流程：要進行基準評估，首先要關注產品中的重要任務或特性，並確定如何測量它們；接下來，選擇一種合適的測量方法，允許你在有限的時間、預算和技能的情況下收集這些指標數據；收集你的第一套數據作為基準指標，重新設計產品，然後用同樣的方法收集新的數據；最後，通過比較收集到的指標數據，使用產品和商業知識來解析你的結果。

希望你的數據（或者在下一個版本發布後）會變得更好，反之，你也會知道你應該把注意力放在後續版本的哪些方麵了。

以上就是本次對體驗設計評估體係搭建的經驗總結拉，你認真看完了嗎？

（本文來源於微信公眾號@應謀鬼計，作者@Alita Joyce，譯者@大魚海棠Rena）