Tidak ada yang tahu secara pasti asal usul Pedang Zulfikar. Melansir dari Parhlo, ada yang mengatakan bahwa ketika Perang Badar, Nabi Muhammad SAW mematahkan dahan pohon dan dengan mukjizat Allah, dahan tersebut berubah menjadi Zulfikar.
Ada juga yang beranggapan pedang tersebut dikirim oleh Allah melalui Jibril ketika Rasulullah berdoa saat pertempuran Khandaq. Pendapat lainnya menyebutkan bahwa pedang tersebut merupakan hasil rampasan perang.
Sejak saat itu Pedang Zulfikar selalu identik dengan Sayyidina Ali. Pedang ini selalu menemani Ali dalam setiap pertempuran.
Oleh sebab itu, pada desain Pedang Zulfikar yang banyak digunakan saat ini terdapat ukiran yang berbunyi sebagai berikut:
lā fata ʾillā ʿAlī; lā sayf ʾillā Ḏzū l-Fiqār.
“Tidak ada pemuda selain Ali, dan tidak ada pedang selain Zulfikar”.