相比于让我们的大脑去通过判断一个人的面孔去识别其身份，判断表情则更加的复杂。大脑需要更为复杂的系统去识别一个面孔所传递的信息，也就是面孔上转瞬即逝的一部分信息。而判断表情情绪至少需要两个步骤：第一步是核心系统对视觉信息进行加工与描述，第二步则是大脑对已经分析好的视觉信息进行解读与理解。
我们人类在出生后36个小时以内，就能够判断和模仿情绪，可以得知情绪判断的重要与复杂程度。在大脑进行判断与情绪理解的时候，不仅是大脑皮层（cortical）上的神经在参与活动，甚至皮层下的（subcortical）神经系统也在参与工作。
许多有大脑的动物都有皮下组织，它参与维系生命的基础活动，在情绪判断的时候快速且略显粗糙，不需要注意力的参与；而皮层组织只有少数动物才有（不过青蛙就没有，它在进化的过程的近期才出现），比较需要有意识才能进行处理，速度虽慢，但是判断准确。这两套互补的情绪系统可以应对生活中的各种情况，比如突如其来的灾难到细致揣摩上意都能用到。
自从科学家们发现猴脑颞叶皮层存在专门用于理解面孔表情、情绪的细胞之后，科学家更想要查明表情这样一种社交中不可或缺的信息在脑中到底会被如何处理：表情情绪在大脑中是否由专门的系统处理，如果有，它们在哪儿。
正如Bruce和Young教授的面孔模型所说，表情与身份应该是面孔所能提供的两种不同信息的代表。因而，不少科学家都致力于区分身份与表情处理的大脑区域。通过猕猴脑中的实验，科学家发现颞上沟（superior temporal sulcus）对通过面部识别身份的变化没有明显反应。
人脑和猴脑虽然相近，但是由于人类大脑更为复杂，功能更多，还是有很多差异的：人脑中类似猴脑对表情活跃的区域是后颞上沟（pSTS）而非整个颞上沟（在核磁共振精度提升后更清晰）。颞上沟不只对情绪表情有反应，它对眼睛、动态，甚至身份信息都有反应。毕竟它紧邻中颞叶皮层，直接接收到动态的信息，所以颞上沟对表情和眼动信息一视同仁，都是相同的动态信息。也有科学家认为后颞上沟不仅自身涉及情绪判断，还作为情绪信息的中枢，汇总融合表情情绪信息。总而言之，后颞上沟是表情情绪信息判断的一个重要节点，也是面孔识别中三个重要的中枢之一。
利用相同的技术，科学家借助功能性核磁共振成像，配合适应后效的方法发现判断面孔身份信息涉及梭状回面孔区，判断表情情绪则涉及后颞上沟：当我们反复识别同一个人面孔的时候，判断身份的区域将产生适应效果（兴奋程度下降）；而我们连续看到同一种情绪的时候，判断表情的区域会有兴奋度差异。不过表情比身份复杂，甚至两者都有点说不清楚的关系。虽然身份信息完全不会受到表情的影响，但是表情似乎会被身份影响但是表情的初期判断会受到身份处理模组的影响。显然表情有完全不受身份干扰的部分，也有受干扰的部分。
身份信息对表情信息的干扰简单原因就是大脑中的这些模组互相连接（互相通信，甚至有时候共用处理模组），更不要说我们划分面孔处理模组时用的研究方法有限。其实这些核心区域都涉及面孔的处理，无非是颞上沟专一于面孔上瞬息万变的部分，所以对于表情特别留意，而梭状回面孔区对于高空间频率的信息反应灵敏，它的反应足够辅助其他区域识别面孔的情绪。不过，表情与身份并无绝对关联，最好的证明就是先天性面孔失认症患者：他们没法从面孔判断别人的身份，但是还有比较准确的身份识别能力。
后颞上沟是感受面孔情绪（皮层上）处理模组之一，涉及处理“表情的地理信息”；它们勤恳搬运面孔上的信息。对于“究竟是什么情绪”的完整判断和理解还得与别的区域一起工作：感受情绪的大脑区域。正如同上面举的例子，脑岛涉及判断不好的味道以及不舒服的体验，也涉及判断“厌恶”的表情。从大脑反应的角度来看，看到一张露出“厌恶”表情的面孔和喝一大口变质牛奶一样都能让脑岛惊起。甚至Todorov与同事还发现，哪怕不带表情，只要见到一个做过让人“厌恶”的事情的人（例如，随地吐痰，打喷嚏不掩住嘴巴），相较做过其他负面事情的人（例如，打人，骂人）会让你的左前脑岛更加活跃：只要涉及对于“厌恶”情绪的处理，脑岛就会站出来帮助你做好判断。
另一个重要的情绪判断区域就是杏仁核（amygdala），这个看起来像杏仁的区域虽然小但并不简单，它身处边缘系统在皮层下，拥有较为久远的进化历史。它既可以从大脑皮层获得比较细致的、被仔细加工过的信息，也可以从丘脑（还有上丘以及丘脑枕）更快地获得粗糙的信息。有科学家说杏仁核就是大脑内的警觉系统，它也参与大脑判断情绪的活动，而且它涉及大脑对于面孔的加工。尽管在二十世纪八十年代就有关于动物杏仁核和情绪的研究，不过人类的研究很少。原因是在动物研究中会损伤它们的大脑，而对人类做这种研究是不道德的。人类大脑杏仁核功能的研究需要机缘巧合，需要脑损伤病人才行。
在此不得不提一位脑科学研究中著名SM——由于种种原因造成双侧的杏仁核损伤的脑损伤病人。尽管判断“谁是谁”对于SM不是问题，毕竟她的梭状回皮层安然无恙，但是判断情绪就如同登天一般。SM最大的问题是患病后再也体会不到恐惧的感觉，也无法从别人面孔上获取恐惧的表情；不仅如此，她在判断面孔多种情绪的时候也出现异样。毫无异议，拥有正常杏仁核的普通人对于表情判断几乎没有问题。既然缺少健康的杏仁核会造成情绪判断的差异，那么杏仁核本身如何涉及情绪判断？最简单的方法就是探寻普通人的杏仁核如何回应不同的情绪图片。SM无法体会恐惧的感觉，显而易见杏仁核对于恐惧有独特的作用：有科学家就发现左侧的杏仁核对于“恐惧”面孔相较“高兴”面孔有更明显的反应，而这种反应随着面孔上的情绪比重升高而提升。
SM在判断高兴的面孔上有点小问题，普通人的杏仁核也对高兴的面孔有不同的反应：相较面无表情的自然面孔，传递开心笑容的面孔明显能激发左侧前杏仁核的兴奋。Morris他们的实验也是比较“高兴”的情绪，但是由于成像方式不同（PET与fMRI的空间分辨率问题）以及实验中受试者的任务有差异，所以结果不同。不仅是上述表情，难过的表情情绪也会激发起杏仁核的反应，不过愤怒的情绪并不通过杏仁核却激发前扣带回皮层和眼窝前额皮质的反应（这两个组织都对情绪有反应，它们往往参与在社会背景情况下的行为调控；愤怒的表情可以激发观察者对活动／战斗的准备）。综合以上，杏仁核就像颞上沟一样是加工面孔表情的重要区域。
杏仁核真的负责对表情的加工吗？其实也不一定，正如上文提到的颞上沟与梭状回面孔区一样，倘若它只是情绪的搬运工，照样会有反应：商业繁忙，码头工人肯定工作量大，但不能说码头工人的工作决定商业好坏。回到病人SM的例子上，Adolphs教授与同事很清楚她没有识别恐惧的能力，但是这不是故事的全部。在2005年的实验里面，他们用眼动仪检测SM如何观察面孔：正常人会注意嘴唇，也会更加注重眼睛（上文提到眼睛是判断恐惧的关键区域）；但是SM观察面孔没有章法，尤其不会注意眼睛。当科学家让她注意照片中的眼睛区域时，她的判断准确性竟然达到常人水准。也就是说杏仁核可能不直接参与分析面孔传递的情绪，而是作为一个枢纽沟通不同的皮层达到情绪识别，也会作为警觉中心参与判断表情有无生理上的重要性。
尽管颞上沟和杏仁核都是重要的表情加工区域，但是它们对待表情还是依靠不同的表达方法。在脑中表达情绪信息的时候，颞上沟与杏仁核甚至梭状回面孔区都会对情绪变化产生显著的反应：也就是说它们都参与（解读）情绪的加工。
但是颞上沟和杏仁核相比还是有不同之处：颞上沟忠实反映面孔上的动态，所以不同程度的表情都是不同的动态，只要有变化就会有反应。杏仁核作为警觉中心和枢纽，对不同的情绪（例如恐惧）有特别的注意，对情绪进行判断时不在意强弱，更在意是什么情绪。他们的研究结果指出颞上沟对于连续出现的两张同种但强弱不同的情绪图片的反应差异类似对两张连续出现的不同情绪图片的反应差异，即颞上沟对面孔是按照强弱连续处理的；但杏仁核对于不同情绪的反应差异远大于两张同一情绪的图片引发的反应差异，即杏仁核对于情绪按照类别处理。
两个区域，一个使用一视同仁的方式向更高级的皮层描述表情，一个使用因地制宜的方式向大脑描述表情；这样一静一动为大脑判断情绪提供鲜活的“面孔资料”。
