却说袁术探知吕布袭得徐州，星夜差人到吕布处，许给粮五万斛、马五百匹、金银一万两、彩缎一千匹，使其夹攻刘备。
吕布大喜，即令高顺领兵五万从背后袭击刘备。
刘备获知高顺来袭，大惊，
急忙趁阴雨天气弃盱眙而走，东取广陵（今江苏扬州广陵）。
高顺见刘备撤军，到盱眙见到纪灵，索要所许物资。
纪灵接受上次被何仪、黄劭骗走财物教训，对高顺说：“刘备虽然从盱眙撤走，却东取广陵。等捉住刘备，才能将所许物资相送。“
高顺将纪灵的意思回告吕布。
吕布听了，非常气愤，怒骂袁术失信，欲起兵讨伐。
陈宫劝说：“不可。袁术据守寿春，兵多粮广，不可轻敌。不如请玄德回来驻扎小沛，作为羽翼。他日令玄德为先锋，先取袁术，后取袁绍，即可纵横天下。”
吕布听从其言，令人赍书迎玄德还小沛。
且说刘备将至广陵，安营下寨。
半夜时分，忽听四面喊杀，却是袁术乘夜劫寨。
刘备慌忙上马，与关羽、张飞并力拼杀，冲出重围，夺路而走。
经此一战，刘备折兵大半，只得引军撤回。
刘备撤军途中，正遇吕布使者。
刘备看了吕布书信，大喜。
张飞说：“吕布是个无义无信小人，不可轻信。“
刘备说：“既然以好意相待，就不必怀疑。“遂往徐州去见吕布。
吕布恐玄德疑惑，先令人送还家眷。
甘、麋二夫人见到刘备，具说吕布令兵把定宅门，禁止兵卒入内骚扰。
邓罡也说，吕布常派侍妾送物，不曾有缺。
刘备对关羽、张飞说：“吾知道奉先一定不会害我家眷。”就进城感谢吕布。
张飞痛恨吕布，不肯随往，先奉二嫂往小沛去了。
玄德入见吕布拜谢。
吕布说：“我并非想夺城池，只因令弟张飞在这里酗酒打人，恐怕有失，特来帮助守城。”
刘备说：“吾早就想把徐州让给兄长，无奈兄长推却再三，今方如愿以偿。”
吕布假意让还徐州。
刘备力辞不受，还屯小沛驻扎。
关羽、张飞心中不忿。
刘备说：“屈身守分，以待天时，不可与命相争。”
吕布时常令人送粮米缎匹，两家修好。
再说袁术击败刘备，占领了广陵等地，任吴景为广陵太守，回到寿春设宴为纪灵诸将庆功。
袁术一直认为袁姓出自于陈，陈是舜之后，以土承火，得应运之次。又以为谶文云：“代汉者，当为涂高。”说的就是自己，常有称帝意图。
袁术和时任沛相的陈珪都是豪门世族出身，少年时代交往甚密。
陈珪字汉瑜，徐州下邳(治今江苏睢宁西北)人，广汉太守陈亹之孙，太尉陈球之侄，陈登、陈应之父、..
袁术为了得到陈珪的支持，给陈珪写信说：“当年秦王朝丢失了政权和王位，天下群雄竞起而夺之，最后被智勇双全者捷足先登而夺到手。如今天下事情一片乱糟，刘氏江山面临瓦解之势，诚然又到了天下英雄逐鹿之时。我与足下有多年的交情，难道不肯帮助我吗？若要谋取天下大事，只有您才是我最信任的人啊！”
陈珪的儿子陈应此时也在下邳，袁术威胁要以陈应作人质，以把陈珪彻底绑在他的战车上。
陈珪读过袁术的来信，答复他说：“从前暴秦末世之际，恣意暴虐，以严刑酷法统治天下，荼毒生民，致使百姓忍无可忍，以死相拼，故而促成了秦王朝的覆灭。而今刘氏虽也衰微，可天下并没有秦王朝崩溃前夕的那种酷刑暴虐。朝廷内曹操将军努力辅佐天子，有勇有谋，被乱臣贼子们践踏的朝纲正逐步恢复。荡平凶恶的叛匪，清定海内，我相信用不了多长时间了。我本以为将军您出身于世代蒙受皇恩的公卿之家，自当与天下英雄同心协力，匡扶汉室，不想足下竟要图谋不轨，以身试祸，这岂不令人为之痛心！眼下您若迷途知返，力改前非，我想或许还能免去您的罪过。我与您是多年故交，因此才把这些心里话讲给您听。虽然您听起来不免逆耳，但对我来说确是表达了一种情同骨肉的心意。至于您要我为了私利而与您合作，我是宁可掉头也不会去干。”
袁术并不甘心，攻打刘备期间，闻知献帝离长安东行至洛阳，一路累累如丧家之犬，认为时机已到。
袁术在为纪灵击退刘备庆功会上，乘着酒兴说：“如今刘氏天下已经衰微，海内鼎沸，吾袁家四代皆为朝中重臣，百姓皆愿归附。我想秉承天意，顺应民心，现在就登基称帝，不知诸君意下如何？”