爵溪所的筑城历史可以追溯到明代洪武三十年（1397年），由王恭主持修建。爵溪所建城时，城里军户大多来自北方的冀鲁官话区。这些军户将其使用的官话方言带入爵溪，经过数百年的演变，在爵溪城内形成了一个方言岛“所里话”。爵溪所里话仅流通于爵溪所城城里，2000年时使用人口约9500人左右。而城外当地土著语则属吴语太湖片宁象小片。据考据，爵溪所里话为受到吴语影响的官话。听过爵溪所里的90后口音，明显深受吴语丹城话的影响，但仍保留了一定的官话特征。
清代爵溪所改为爵溪城汛，兵力配置有所下降，但军事地位没有变化。爵溪城汛由千把总轮防，驻兵一百二十名，管辖六座炮台。顺治十八年（1661年），朝廷颁布迁海令，沿海许多卫所被废弃，但爵溪因扼守象山县城咽喉而免于迁界，逃过一劫。咸丰十一年（1861年）十一月，太平军攻克象山县城，但爵溪未被攻克。次年正月，爵溪组织团练千余攻打象山，被太平军击溃。太平军随后攻爵溪。爵溪城早有准备，发炮毙挥旗者，太平军乃退。
清代爵溪所改为爵溪城汛，兵力配置有所下降，但军事地位没有变化。爵溪城汛由千把总轮防，驻兵一百二十名，管辖六座炮台。顺治十八年（1661年），朝廷颁布迁海令，沿海许多卫所被废弃，但爵溪因扼守象山县城咽喉而免于迁界，逃过一劫。咸丰十一年（1861年）十一月，太平军攻克象山县城，但爵溪未被攻克。次年正月，爵溪组织团练千余攻打象山，被太平军击溃。太平军随后攻爵溪。爵溪城早有准备，发炮毙挥旗者，太平军乃退。
