顯微硬度計分為的兩部分，分別有自己的功能，其顯微鏡是用來觀察顯微組織，確定測試部位，測定壓痕對角線的長度；而硬度測試裝置則是將一事實上的載荷加在一事實上的壓并沒有上，壓入所確定的測試部位。整體說來，是由支架部分、截物臺、負荷機構、顯微鏡系統等四大部件組成。
1、支架部分。
與其他維氏硬度計一樣，主要由底座和主柱組成。但是因為加置了顯微鏡，就增加了調節螺母用來升降。一般情況下，借助調節螺母可升降托架，使顯微鏡整體上下移動。
2、加載荷重機構。
它是顯微硬度計的重要組成部分，荷重機構安裝在臂架上，與物鏡相對稱。立柱1由兩片彈簧(3與4)支持著，在它的下端裝入壓頭8，荷重砝碼套在立柱中部，立柱平時由托板托住。加載荷時，借手柄7逆時針方向旋轉而使托盤離開，立柱隨之下降，載荷就通過壓頭加到磨面上。
3、 截物臺。
硬度計的截物臺由三個螺釘固定在底座上，其中兩個螺釘控制其前后左右移動。載物臺移動的最大行程為10mm，旋轉手柄可使載物臺作180°回轉運動，使顯微鏡觀察到的組織，恰好能轉到顯微硬度計壓頭下面，然后加載，得到一個顯微硬度壓痕。當載物臺回轉到原來位置以后，壓痕對角線長度可由顯微鏡測量出來。載物臺不需要轉動時可用固定螺釘使載物臺固定。
4、 顯微鏡部分。
由鏡筒物鏡和目鏡組、機械調節及照明裝置組成。顯微鏡用粗調和微調旋鈕調節焦距，在微調旋鈕上刻有刻度，指示顯微鏡上下調節的距離，每小格相當于0.002mm。鏡筒上裝有傾斜的觀察鏡筒及15×的螺旋式測微目鏡。在顯微攝影時可換用直射攝影鏡筒和15×的攝影目鏡。照相暗盒就固定在直射鏡筒上。通常，顯微鏡配有兩個物鏡及F23.2)和一個目鏡。用來在明場和暗場下觀察。其照明方式的改變通過旋轉手柄來實現。
顯微鏡硬度計因為顯微鏡的部分，必須要固定在某個位置，不能隨便搬運或攜帶，并且顯微鏡頭需要日常好好保養，其使用環境的溫度有非常高的要求，通常要求在溫度20℃±8℃范圍內，濕度應保持在≤70%范圍內，嚴禁在滴水或者塵土的環境中使用，更不能在腐蝕氣體和輻射的環境中使用。盡管環境要求苛刻，但并不影響其實際功能應用性。另外顯微鏡在細微部分進行精密定位的多點測量，讓它的應用范圍廣泛，包括各種金屬、表面加工層、熱處理和相對塑料較硬的非金屬材質等。
