秦穆公娶穆姬后，得知陪嫁奴隶百里奚逃跑，起初并未在意。直到一名来自晋国投奔楚国的武士公孙枝告知他，百里奚乃难得一见的贤才。秦穆公立刻派人四处寻找百里奚，决心将他带回秦国。
公孙枝建议，鉴于楚成王尚未察觉百里奚的真实才干，若秦国用重金赎回，恐会引起楚王的警觉，不愿意放人。因此，公孙枝提出以贱价——五张黑公羊皮作为赎金，这样既能消除楚王的疑虑，也能顺利赎回百里奚。秦穆公采纳了这个建议，派人到楚国，声称秦国有一名叫百里奚的奴隶逃至楚国，请求以五张羊皮赎回治罪。楚王觉得此人只值五张羊皮的价格，便毫不犹豫地答应了秦国的要求，命人将百里奚装入囚车，交给秦国使者带走。
当须发皆白的百里奚被押回秦国时，秦穆公亲自迎接，解开他的枷锁，以礼相待。秦穆公与百里奚探讨国事，百里奚自谦为亡国之臣，不便多言。然而穆公坚信，虞公未能重用他才是导致虞国灭亡的原因，并坚持向百里奚请教治国之道。两人连续交谈三天，百里奚提出，秦国虽地处偏远，但兵强马壮，地势险要，宜攻宜守，应充分发挥这种优势，相机而动。秦穆公对百里奚的见解深感赞同，欲任命他为上大夫（相当于相国），主持秦国的军政事务。但百里奚婉拒，并举荐好友蹇叔。秦穆公遵从百里奚之荐，用丰厚礼品迎蹇叔至秦国，并任命百里奚为左庶长，蹇叔为右庶长，合称“二相”。
百里奚入秦辅佐秦穆公，一方面在国内推行教化，启迪民智，按照周朝官制和礼仪改造了秦国陈旧的体制；另一方面对外主张和平共处，使百姓安心农耕和发展经济，短短时间，秦国即实现大治，从一个偏远小国跃升为足以与晋、楚抗衡的春秋时期的强国，为日后秦国兼并六国，统一华夏大地奠定了基石。
由于百里奚是用五张黑公羊皮赎回的，世人遂称他为“五羖大夫”。这段“五羖皮换贤臣”的故事，成为了千古流传的美谈。