คราวหนึ่งมีชาวบ้านตาคลีเดินทางไปกราบนมัสการหลวงปู่แหวนที่วัดดอยแม่ปั๋ง จ.เชียงใหม่ พอหลวงปู่แหวนรู้ว่ามาจากตาคลี ท่านก็ไล่ให้กลับ บอกว่า “มีเพชรอยู่ในบ้าน ยังไม่รู้จักอีก หลวงปู่สีน่ะ เป็นอาจารย์ของฉันเอง ฉันจะเก่งกว่าท่านได้อย่างไร” ชาวบ้านกลุ่มนั้นก็เดินทางกลับตาคลี มากราบหลวงปู่สีถามถึงเรื่องนี้ว่า จริงเท็จประการใด หลวงปู่ฯเล่าว่าหลวงปู่แหวนมาฝากตัวเป็นศิษย์ของท่านนานแล้ว ก่อนที่จะเป็นลูกศิษย์ของอาจารย์มั่น โดยท่านพบกับหลวงปู่แหวนที่จังหวัดเลย ขณะนั้นหลวงปู่แหวนยังเป็นพระหนุ่มๆ อยู่

           หลวงปู่ศุข วัดปากคลองมะขามเฒ่า กับหลวงปู่สีมีความสนิทสนมกันมาก บางครั้งหลวงปู่สีจะมาจำพรรษาที่วัดปากคลองมะขามเฒ่า และแลกเปลี่ยนวิชาบางอย่างกัน วิชาของทั้งสองท่านจะมีลักษณะคล้ายๆ กัน เช่น การย่นระยะทาง การเสกใบไม้ เป็นต้น หลวงปู่ศุขมีอายุมากกว่าหลวงปู่สีประมาณ ๒ ปี ฉะนั้นหลวงปู่สีจึงมักเรียกหลวงปู่ศุขว่า หลวงพี่

           หลวงปู่สี เล่าให้ศิษย์ฟังว่า ในวันออกพรรษาท่านมักจะออกจากวัดที่ท่านจำพรรษา เพื่อธุดงค์ต่อไปที่อื่นๆ ในคราวที่จำพรรษาอยู่ที่วัดปากคลองมะขามเฒ่านั้น หลังจากออกพรรษาแล้วหลายวัน ท่านก็คิดว่าจะเดินธุดงค์ต่อไป แต่หลวงปู่ศุขขอให้ท่านรั้งอยู่ที่วัดก่อนรอให้ท่านกลับมาแล้วค่อยไป แต่ท่านอาจจะเห็นว่าเลยกำหนดมาหลายวันแล้ว พอหลวงปู่ศุขออกบิณฑบาต ท่านก็เก็บของ แล้วออกเดินทางทันทีไม่ยอมอยู่ตามคำขอ เมื่อหลวงปู่ศุขกลับจากบิณฑบาต ถามพระเณรในวัดก็รู้ว่าหลวงปู่สีไปแล้ว ท่านจึงสั่งให้พระเณรฉันข้าวไปก่อน แต่ให้ฉันรอท่านด้วย แล้วหลวงปู่ศุขก็เข้ากุฏิหอบเอาคัมภีร์ไสยศาสตร์ ๓ เล่มตามหลวงปู่สีไป ปรากฏว่าไปทันกันที่อ.ตาคลี จึงมอบคัมภีร์ทั้ง ๓ เล่มให้หลวงปู่สี แล้วจึงกลับมาที่วัด ปรากฏว่าพระเณรที่วัดเพิ่งฉันข้าวได้ไม่กี่คำเท่านั้น ซึ่งไม่น่าจะเป็นไปได้ เพราะระยะทางจากวัดปากคลองมะขามเฒ่า ไปอ.ตาคลี ประมาณ ๔๐-๕๐ กิโลเมตร นั่งรถยนต์ยังต้องใช้เวลาเกือบชั่วโมง แสดงว่าหลวงปู่ศุขใช้วิชาย่นระยะทาง พวกลูกศิษย์ก็ถามหลวงปู่สีว่า ชั่วเวลาที่หลวงปู่ศุขไปบิณฑบาต หลวงปู่สีเดินจากวัดปากคลองมะขามเฒ่ามาถึงตาคลีได้อย่างไร ท่านนิ่งไม่ตอบ แล้วล้มตัวลงนอนทันที ลูกศิษย์เลยไม่กล้าซักต่อ

           หลวงปู่สีท่านเดินธุดงค์ไปหลายจังหวัด หลายประเทศเกือบตลอดระยะเวลาที่ท่านบวช จนท่านอายุได้ประมาณ ๙๐ ปี ครั้งสุดท้ายท่านไปสร้างวัดหนองลมพุก อ.โนนสังข์ จ.อุดรธานี ท่านพระครูนิวิฐปริยัติคุณ (สมบูรณ์) จึงไปนิมนต์ท่านลงมาช่วยสร้างวัดเขาถ้ำบุญนาค ซึ่งตอนนั้นยังเป็นสำนักสงฆ์ เมื่อปี พ.ศ.๒๕๑๒

           หลวงปู่สี ท่านเป็นพระที่ไม่สะสม ไม่ยึดติดในความสะดวกสบาย ท่านอยู่กุฏิไม้เก่าๆ หลังเล็กๆ ท่านพระครูฯเจ้าอาวาสจะสร้างกุฏิหลังใหม่ให้ แต่ท่านไม่ชอบ บอกว่าจะไม่ไปอยู่ พอช่างก่ออิฐเสร็จจะฉาบปูน ปรากฏว่าตั้งแต่เช้าถึงเที่ยงฉาบไม่ติด จนต้องเลิก พระรักษ์ซึ่งเป็นพระอุปัฏฐากของหลวงปู่สีจึงไปเรียนถามหลวงปู่สีว่า ทำไมไปแกล้งช่างปูน หลวงปู่สีว่าท่านไม่ได้แกล้งเพียงแต่ท่านไม่อยากอยู่กุฏิใหม่ พระรักษ์จึงบอกว่า หากหลวงปู่ไม่อยากอยู่ก็ไม่เป็นไร ให้ช่างปูนเขาสร้างให้เสร็จเถิด หลวงปู่สี จึงบอกให้ช่างมาทำใหม่ และทำเสร็จในวันนั้น แต่ท่านก็ไม่เคยใช้เลย จนท่านมรณภาพแล้ว จึงนำร่างของท่านบรรจุในโลงแก้ว แล้วประดิษฐานไว้ที่กุฏินี้