A项，福建省是中国东南沿海省份之一。西周时称闽越，《周礼•夏官》称七闽，别称闽。选项表述正确，排除。 B项，秦始皇二年（公元前221年）设置闽中郡，置东冶（今福州），福建为闽中郡辖区的一部分。从此，福建作为一个行政区划出现在中国的版图上。选项表述错误，当选。 C项，“八闽”之称始于南宋。北宋雍熙二年（公元985年），太宗置福建路，辖福州、泉州、漳州、汀州、建州、南剑州和兴化、邵武两军，共六州两军。由于州、军同级，到南宋时便有人开始称福建为“八闽”。 选项表述正确，排除。 D项，康熙二十三年四月，清政府在台湾设置一府三县，即台湾府和台湾、凤山、诸罗三县，隶福建省管辖。选项表述正确，排除。 故本题答案为B选项。