清康熙年间，童姓居黄岛山西。辛姓于1880年（光绪六年）从西浤辛家村迁入，姜姓于1886年（光绪十二年）由姜格村迁入，迟姓于1901年（光绪二十七年）从西浤赵家村迁入，1875——1908年赵姓、杜姓分别从西浤赵家村、双峰庄村迁入。刘姓曾在村北建村刘家河（入居及迁走的年代无考）。
    村名是源于皇带山。皇带山下的海水中，出一种墨色砚石，特点是：一，其颜色与墨色一致；二，手感奇凉，在炎热的夏天用口吹之也能有水珠（直接用水珠研墨）；三，硬度如钻，砚台落地摔不掉角。因为产量极低，所以发现后，就成了宫中专用品，不准宫外使用。因为出门不用带水研墨，是清朝几代皇帝外巡的必带之砚，人称“皇带砚”，皇带山藉此砚而得名。解放后人们反感皇帝二字，那山慢慢改称为黄岛山（起初叫皇岛山）。1952年，这里的一些自然村分别从邻村中划出来，成立了一个新的行政村，村依山名，叫西黄岛村。冠以“西”字，当时的乡机关也在地海阳所，即在海阳所西面的意思。
    西黄岛村最大特点是住户分散，160户人家，围着泥圈山，分散在9个居住点上。每簇多则30余户，少者只一家。树林在房前屋后，庄稼在街道两旁。这是旧社会地主经济造成的现象，那时西黄岛的山野被山外地主瓜分着，地主雇来的长工就地建庵看山护岚，建国后大部分长工留了下来定居，形成了现在这样的村容村貌。因守山守海，所以解放后村里经济收入主要靠渔农两大业。主村前面的渔港，是原渔业部公布的山东省在册的22个渔码头之一。
    西黄岛素有“三旺椅子圈，三宝黄岛山”之说。黄岛山东部的裙山，形似一把太师椅；椅子圈下方的潮间带上，有三个水汪，人曰“三旺”。“三宝”：一为宝砚，即前面说的“皇带砚”；二为宝洞。黄岛山南山脚下有一自然的山洞，据说老人讲，在洞内生火，十公里外的帽山上冒烟。传说为了防止倭寇和海盗的抢劫，先人们把大量的金银珠宝藏在洞里面。此洞以前是鸽子的栖息地，因此又俗称布鸽洞；三为宝树。传说菩萨娘娘宝瓶中的青枝掉下一节，落到黄岛山的前怀，打那以后，黄岛山的崖缝里，有了一棵冬青树在叠绿吐翠，树龄究竟有多大，谁也说不清楚。“三旺”：一个名“大汪”，汪内是泥滩，四周是碎石；一个名“小汪”，在大汪的东南面，中心及四周全是沙；一个名“珠砬汪”，在大汪的西南面，汪底是石质的，四周全是大礁石。
    西黄岛现属大乳山开发区，美丽的自然景点正在开发利用。