Ведут они себя как раз не одинаково.
Я тут набросал пример использования:
div style="float:left", div style="display:inline" и span:
http://www.ge-org.name/divs.html
Можно видеть, что при div style="float:left" можно блоку задать высоту и ширину, а также воспринимается свойство clear (в примере используется style="clear:both")
А div style="display:inline" и span ведут себя идентично: не воспринимают высоту, ширину и свойство clear.
Есть ещё вариант div style="display:table", div style="display:table-row", div style="display:table-cell", но его не воспринимает IE. хотя есть варианты обхода,
но к ним прибегают те, кто органически не воспринимает таблицы.