Wielkość bajtu jest rzeczą tak naprawdę umowną, bo definiuje się ją jako najmniejsza adresowalna jednostka informacji w pamięci komputera, która składa się z bitów, lecz niekoniecznie 8-miu. Oznacza to, że dopóki konkretnym zestawem bitów można określić miejsce w pamięci, taki zestaw można nazywać bajtem. Informatyk Werner Buchholz przy projektowaniu komputera IBM Stretch w latach 60-tych jako tej najmniejszej jednostki zawierającej informacją użył finalnie bajtu 3-bitowego. Standard ośmiobitowy przyjął się po powstaniu komputera IBM System/360 i jest używany do dziś, co nie oznacza, że nie istnieją mniejsze jednostki informacji. Tzw. półbajt składający się z 4 bitów wykorzystywany jest chociażby w kalkulatorach. Co zaś się tyczy standardu 8-bitowego, to do czasu powstania pierwszych mikrokomputerów stał się on tak powszechny w projektowaniu systemów komputerowych, że przyjęto go jako standard powszechny.
Co zaś tyczy się takiej a nie innej ilości bitów w bajcie, w kontekście tego, co przytoczyłem powyżej, sprawę zdaje się objaśniać cytat z Quory na temat wspomnianego IBM System/360:
IBM chose to use 8-bit characters for their System/360 for a few reasons. The first being that they wanted a character code that was roughly compatible with their previous encodings (which had a history dating back to the pre-computer punchcard systems originally designed in the late 1800’s), yet large enough to hold all the characters they felt were necessary to deal with. Some argue that they didn’t succeed in the latter, but it was a consideration of theirs. The pre-existing encoding they used was 6-bit, and extending it to just 7 bit wouldn’t allow them to maintain compatibility. So they went to 8-bit.