儘管如此，腦的大小並不能完全說明問題。「尼安德特人比我們有更大的大腦，但他們滅絕了。」榮格說，「男性的大腦也比女性的大，難道這意味著男性比女性更聰明嗎？顯然不是。」
事實上，相較於大腦的容量，大腦的結構才是聰明才智更可靠的代表。一般來說，女性有更厚的皮層，即大腦褶皺的外層（負責高級功能），而更厚的皮層與更高的智商相關聯。男性通常有更大的皮層下區域，包括參與記憶和空間意識的海馬體以及控制情緒、參與決策的杏仁核，但這並不意味著男性的這些能力必然更強。相較於女性，男性在這些能力測量值上的變異更大：兩性之間的智力總體來說沒有差異，但男性往往更容易分布在智力範圍的兩端。
此外，大腦的連接度也影響智力。根據目前最受支持的智力理論模型，認知能力高度依賴於與計劃、組織和推理有關的額葉以及負責收集、組織知覺信息的頂葉。這些區域通常在人們做智力測驗時最為活躍。有趣的是，高智商者的這些區域在這種時候反而不那麼活躍，可能是因為他們的大腦工作更有效率。這兩個腦葉之間更強的白質聯結與更好的任務表現相關，特別是在需要心理速度和推理的子測驗上。
另一些研究發現大腦的化學成分和智力相關。比如，更高的智力與協調感覺和視覺信息的大腦區域裡更高水平的 n-乙醯天冬氨酸有關，後者是一種與神經健康和代謝相關的物質。