โบราณสถานที่วัดศรีสวายบ่งว่าสร้างขึ้นในระยะแรกของกรุงสุโขทัย โดยมีสายสัมพันธ์ต่อเชื่อมกับอาณาจักรกัมพูชาผ่านทางเมืองลพบุรี เป็นเทวสถานของศาสนาพรามณ์ ต่อมาได้ดัดแปลงให้เป็นวัดในพระพุทธศาสนา โดยการต่อเติมวิหารขึ้นที่ด้านหน้า

โบราณสถานสำคัญที่พบในเขตกำแพงแก้วนั้น ประกอบด้วยปรางค์ (เจดีย์ทรงปราสาทแบบขอม) ๓ องค์ (แบบปราค์สามยอดที่เมืองละโว้ หรือจังหวัดลพบุรี) ที่มีรูปแบบศิลปะลพบุรี แต่ลักษณะของปรางค์ค่อนข้างเพรียว ตั้งอยู่ยนฐานเตี้ย ๆ มีลวดลายปูนปั้นบางส่วนเหมือนลายบนเครื่องถ้วยจีนสมัยราชวงค์หยวน ได้พบชิ้นส่วนเทวรูปและศิวลึงค์ อันเป็นเครื่องแสดงถึงศาสนาฮินดู พบทับหลังสลักเป็นรูปนารายณ์บรรทมสินธุ์ (ทับหลังนี้ไม่ทราบว่ายังอยู่ที่วัดศรีสวายหรือไม่ เพราะตอนที่ไปถ่ายรูปนั้น ฝนตกไม่มีเวลาดูรายละเอียด) นอกจากนี้ยังมีระเบียงคด มีวิหารทั้งอยู่ในกำแพงแก้วและนอกกำแพงแก้ว มีซากอาคารขนาดเล็กวางขนานอยู่นอกกำแพงแก้ว อาคารนี้ กรมศิลปากรไม่ได้ระบุว่าเป็นอาคารอะไร จะว่าเป็นโบสถ์ก็ไม่เห็นมีใบเสมา โดยมากถ้าเป็นวัดก็จะมี เจดีย์ วิหาร และโบสถ์ เป็นส่วนประกอบสำคัญ แต่วัดศรีสวายเคยเป็นเทวสถานมาก่อน thaiphotosite เลยเดาไม่ถูก   

ข้อมูลจาก สุโขทัยเมืองพระร่วง กรมศิลปากร ๒๕๓๑ และนำชมอุทยานประวัติศาสตร์สุโขทัย ศรีสัชนาลัย กำแพงเพชร ๒๕๕๓