ตำบลนี้มีลำห้วยใหญ่ อันเกิดจากทิวเขาเขียวไหลผ่านตำบลห้วยกะปิหนองข้างคอกสู่อ่าวชลบุรีที่ตำบลห้วยกะปิ ปัจจุบันพื้นที่ชายทะเลงอกออกไปมากลำห้วยกะปิไหลผ่านตำบลเสม็ดแล้วลงสู่อ่าวชลบุรี          ลำห้วยนี้อยู่ทาง ด้านเหนือของโรงเรียนบ้านห้วยกะปิ ในสมัยโบราณลำห้วยนี้อุดมสมบูรณ์ไปด้วยกุ้งเคย ชาวบ้านในแถบนี้ได้อาศัย จับกุ้งเคยในลำน้ำมาทำเป็นกะปิขายเป็นอาชีพ ลำห้วยนี้จึงได้ชื่อว่า "ห้วยกะปิ" ตามชื่อของอาชีพ คนทำกะปิในสมัยนั้น จากนั้นประชาชนได้นำเอาชื่อลำห้วยนี้มาตั้งเป็นตำบลอีกทีหนึ่ง นับแต่นั้นเป็นต้นมา ตำบลนี้จึงได้ชื่อว่า "ตำบลห้วยกะปิ"

มีเรื่องเล่ากันต่อๆ มาว่าตำบลห้วยกะปินี้มีเขาสำคัญอยู่ 2 ลูก คือ เขาพงเสือกับเขาเชิงเทียน มีถ้ำทะลุติดต่อกันได้ ลักษณะคล้ายอุโมงค์ภายในถ้ำหรืออุโมงค์นั้นเป็นที่อยู่ของชาวลับแล เป็นผู้มีวาจาสัจถือคำพูดเป็นสำคัญ ผู้ที่ไม่มีสัจจะอยู่ในเขตนี้ไม่ได้จะถูกขับไล่ออกไปจากที่นี่       ชาวลับแลได้ไปมาหาสู่กับชาวบ้านใกล้เคียงสามารถ หยิบยืมข้าวของในเมืองลับแลมาใช้ในงานพิธีต่างๆ เช่น งานบวชนาค ทำบุญเลี้ยงพระ แต่งงาน โกนจุก ชาวบ้านในละแวกนั้นได้ขอยืมเป็นประจำ  ต่อมามีชาวบ้านไปขอยืมแล้วไม่ยอมเอาของไปคืนชาวลับแลก็เบื่อหน่าย ในความเห็นแก่ตัวของชาวบ้านก็เลยเลิกคบ กลบปากถ้ำทางเข้าสู่เมืองลับแลก็เลยปิดสนิท ในวันดีคืนดีชาวบ้านแถบนี้ มักจะได้ยินเสียงปี่พาทย์มโหรีขับกล่อม   เสียงไพเราะจับใจซึ่งเป็นเรื่องที่น่าคิดเปรียบเทียบคนปัจจุบันว่า "ปัจจุบันคนดีมีน้อย ศีลธรรม ก็เสื่อมลง ความเชื่อถือของคนก็น้อยลงไปไม่เหมือนสมัยโบราณ"