大名鼎鼎的骷髅会位于耶鲁大学校园中一个无窗的类似陵墓的建筑内。这是一座建于1856年的褐石建筑，一直作为该团体在每个周四和周日集会的地点。每年只从大学三年级学生中选出十五人加入骷髅会，在升入大四时则为组织服务。这正是骷髅会不同于其他学生社团的明显之处，因为如果是注重于校内活动，发展会员应该从大一开始，由此可以看出骷髅会面向毕业后的校外世界。骷髅会成员被称为“骨人”，他们对非会员保持着本能的警惕。所有的“骨人”都不得泄露自己的身份，当有人提及骷髅会时必须离开现场。然而，近二百年有意无意的泄露已经让人们对这个组织的成员与程序有了相当的了解。
墓地里面有大量的工艺品、名画和战争纪念品，但最多的印迹是对骷髅的狂热崇拜。墓地里刻有一句拉丁文短语“Tempus fugit”（时光飞逝），墙上挂着几十具骨架和头骨，既有人类的也有动物的骨骼——例如麋鹿和野牛。楼上大厅里的壁炉架上有一具呈匍匐姿势的木乃伊。从各种陶器到油漆的墙面装饰边，骷髅的标记无处不在，出口处发光的标识字母是由许多小小的骷髅组成的。厨房里每一件银器都带有S.B.T标记（意思是为骷髅墓地专制或骷髅宴请专用）。各种型号的茶杯和杯子都是按照骷髅的形状设计的。光线昏暗、隐秘的饭厅里有许多设计成骷髅形状的固定装置，光线可以从这些装置张开的眼窝中透进来。
早在1876年，骷髅会远远没有今天威势的时候，一群耶鲁大学的学生自称“锉刀和铁钳组织”，闯进了墓地，并描述了墓地中的所见所闻，给人印象最深的是对内部房间322号客厅的描述：
在西面墙上，挂着众多的绘画，其中有一幅古老的版画，展现我们眼前的是一个开放式的弯形墓穴。墓穴里，在一个石板上，放着四个人的头盖骨，周围有一个小丑帽，几个铃铛，一本翻开的书，几个数学仪器，一个乞丐的字条，还有一个皇冠。墓穴上方拱形的墙上，用罗马字母写成的解释性文字：“谁是傻瓜，谁是聪明人，乞丐还是国王？无论是富是穷，所有人的结局都是一个死”。
之所以第322号客厅这么令人特别关注，是因为骷髅会中对“322”这个数字有着特别的情结，据称骷髅会的成员要把任何带有“322”数字的汽车牌照上交组织，然后把他们拿到墓地建筑，摆放在墙上。据说这是由于古希腊著名演说家狄摩西尼死于公元前322年，而骷髅会就是在这个神秘的年份建立的。然而，骷髅会内部的另一个传说又否定了这一点，传说在十九世纪30年代早期的某个时候，一位名叫威廉罗素的耶鲁大学生前往德国游学一年。罗素家族是当时美国第一、世界第三的大鸦片商，靠向中国贩卖鸦片发了大财。
在德国的时候，罗素结识了德国一个秘密社团的领导人，这个社团以骷髅图形为自己的标记，而这个社团本身是18世纪被巴伐利亚政府取缔的臭名昭著的组“光照派”一个邪恶的分支。很快罗素就迷上了这个组织。当罗素回到美国后，他发现当时美国国内存在强烈的反共济会气氛，他感到十分愤怒，于是召集了自己班上一群最有才华的学生，成立了美利坚合众国有史以来最有势力的秘密社团 这些人给自己的组织起名为“死神兄弟会”，或者一个更不正式的名称是“骷髅兄弟会”。
他们之所以采用了数字命理符号“322”作为标记，是因为他们的社团是德国社团的第二个分支机构，而且成立于1832年。
