一隻耳機主要由四個部分組成：頭帶、左右發聲單元、耳罩和引線。
頭帶的功能是固定左右發聲單元，將其置於頭的兩側，它的結構和它與單元的連接方式決定了頭帶和耳罩對頭部的壓力，影響著耳機佩帶的舒適性。
耳罩是頭部與發聲單元接觸的部件，它對於動圈式耳機是至關重要的，其功能是將低頻反射回來，保證低頻的重放。耳罩一般有兩種樣式，一種壓在耳朵上，叫壓耳式耳罩(Supra-aural)，另一種耳罩呈杯狀，環繞著耳朵，叫繞耳式耳罩(Circumnaural)。耳罩要儘量的柔軟舒適，其內部一般填充海綿，外面蒙上皮革或絨布。耳罩使用的材料對中頻和高頻有吸收作用，它使耳朵與振膜形成一段距離，並在耳機和頭部間形成一個腔室。大型的繞耳式耳罩內部空間大，聲音可以作用於耳廓，形成較好的空間感。一隻設計良好的耳機已經充分考慮了耳罩的作用，所以中高檔耳機的耳罩是不可以損壞或隨意更換的。
耳機的引線是耳機放大電路輸出端與耳機音圈的連接線，優質耳機線常採用多支線芯的無氧銅(OFC)線，經過嚴格的絕緣和遮罩處理，杜絕銅內雜質對信號傳輸的影響和外界雜波的干擾。耳機線的末端是插頭，有兩種規格：6.35mm和3.5mm，即平時所說的大小插頭，6.35mm插頭用於專業音訊和民用音訊設備，3.5mm插頭用於可攜式裝置。一般高保真耳機會提供插頭轉換器，保證耳機在各種設備上的使用。中高檔耳機的插頭是鍍金的，這不是為了漂亮，主要是為了防止插頭氧化影響聲音，由於金光滑柔軟，還可以提供儘量大的接觸面積。低檔耳機常採用鍍鎳插頭，這樣雖然也可以防止氧化，對聲音卻有一定的負面影響。
耳機的發聲單元是耳機設計最複雜、技術含量最高的部分。動圈耳機的工作原理與動圈揚聲器相同，音訊信號輸入音圈後，音圈產生的電磁場隨信號的變化發生變化，變化的電磁場與磁路相互作用推動音圈和振膜的運動，振膜推動空氣發聲。動圈耳機發聲單元主要由三個部分組成：磁路系統、振動系統、腔體和孔等聲學結構。
磁路系統由恒磁體、極板和極靴組成，對耳機的性能和可靠性有直接的影響，恒磁體的一面是平板型的極板，另一面是呈“T”形的極靴，極板和極靴間形成一個尺寸較小的環形磁間隙，振動系統的音圈就懸掛在這個間隙內。通常高保真耳機使用的恒磁體為性能優良的釹鐵磁體，較早的耳機型號有採用昂貴的釤鈷磁體的，低檔耳機一般採用鐵氧磁體。磁路系統的設計比較複雜，象SENNHEISER HD580、HD600這樣的高檔耳機其磁路採用了電腦輔助設計。磁路的生產工藝也是影響其性能的一個方面。設計和製造優良的磁路系統能對振動系統進行有效的控制，得到較高的靈敏度、較小的失真、良好的瞬態和低頻。
振動系統由音圈和振膜組成。振膜是聲輻射元件，推動空氣振動發聲，直接影響頻率回應和靈敏度。它的性能主要取決於製造材料、形狀和製造工藝。製造振膜的材料要求單位面積品質儘量小、機械強度高、內阻尼大。機械強度越高、品質越輕有效的頻率範圍越寬廣、輸出聲壓級越高；內阻尼大，在大信號下失真小。現在振膜多使用易於熱成型、品質輕、剛性好的聚酯薄膜，一些公司開發出了用於振膜的新材料，比如SONY公司用從醋酸桿菌中分離得到的纖維素製造的“生物振膜”用於其高級耳機和耳塞，高頻十分優異。振膜通常為圓形，中心設計為凸起的圓弧狀，四周設計有加強筋，可以加強振膜的剛性並增大振膜的有效面積。有時為了氣壓平衡的需要，會在振膜的非振動部分加工一小孔。振膜製造對工藝要求很高，在加工中的各種差數控制極嚴格。
音圈是動圈耳機的振動源，耳機的大部分參數，如阻抗、靈敏度、額定功率等都與它相關。音圈的性能主要取決於所用的材料和音圈的匝數也即音圈導線的長度。音圈的材料一般是銅漆包線，高級的耳機經常採用無氧銅漆包線和銅包鋁漆包線，後者具有銅漆包線的優點，但品質更輕，也有採用銀作為音圈材料的。音圈的漆包線的截面大多是圓形的，也有三角形和正六邊形截面，這樣線間結合的更緊密，線間電容減小，音圈品質進一步降低。音圈的尺寸對耳機性能也有一定的影響。音圈是在磁間隙中振動的，其直徑應保證音圈位於磁間隙的中央，在振動時不會與極板和極靴相碰。另一方面，由於磁間隙在極板表面處的磁場已不均勻，線圈在非均勻的磁場中運動就會降低電－聲能的轉換效率，並引起耳機產生失真，所以音圈的高度要有一個恰當的選擇。
腔體和孔等聲學結構是影響耳機性能的一個重要部分。固定磁路系統和振動系統的是一個塑膠框架，叫檯面，振膜的邊緣就粘合在這個框架上。這個框架要有足夠的剛性，不會因為固定磁路和振動部分發生形變，而且儘量少的傳遞振動。磁路和振動系統後面是耳機的外殼，外殼與檯面之間形成一個腔體，這個腔體的大小、形狀、內部填充的阻尼材料的位置、種類、數量影響耳機的頻率回應，一般說這個腔體越大越容易獲得高品質、深潛的低頻。