IBM的历史可以追溯到电子计算机发展前的几十年，在电子计算机发展之前，它经营穿孔卡片数据处理设备。IBM于1911年6月15日在宾厄姆顿西几英里处的纽约恩迪科特作为CTR公司注册。三个独立公司合并建立了CTR公司，它们是：列表机公司(1896年创立于华盛顿）、计算表公司(1901年创建于俄亥俄州代顿）和国际时代唱片公司(1900年创办于纽约州恩迪科特）。那时列表机公司的总裁也即创办人是Herman Hollerith。合并背后的关键人物是金融家Charles Flint，他召集三家公司的创始人提出兼并并在CTR中任职直到1930年退休。

Thomas J. Watson是IBM的创始人，1914年担任CTR总经理，1915年担任总裁. 1917年，CTR以国际商用机器有限公司进入加拿大市场，1924年2月14改名为国际商用机器公司（IBM）。

公司合并成CTR制造各种产品，包括员工计时系统、磅秤、自动切肉机，而且最重要的是发展计算机、穿孔卡片设备.一段时间CTR集中精力专做穿孔卡片，不再参与其他活动。

IBM在1932年投入巨资100万美元建设第一个企业实验室，这个实验室在整个30年代的研发让IBM在技术产品上获得领先。在整个经济大萧条期间，IBM一直在研发和新产品上投资，它的产品比所有其他公司都更好、更快、更可靠，它因此赢得了独家代理罗斯福新政会计项目的合同。1935年时IBM的卡片统计机产品已经占领美国市场的85.7%，IBM公司因卡片机的大量销售而积累雄厚的财力和强大的销售服务能力，为以后成为计算机领域的主宰奠定了重要的基础。

IBM与中国的缘分源远流长。早在1934年，IBM 公司就为北京协和医院安装了第一台商用处理机。1936年，IBM在远东地区的第一个办公室就设立在上海，为其在中国乃至整个东亚地区布局发展奠定了基础。1937年，中国第一个越洋电话就从IBM上海办公室拨出，从此开辟了中国与世界连接的新途径。

IBM为计算机产业长期的领导者，在大型/小型机和便携机（ThinkPad）方面的成就最为瞩目。其创立的个人计算机（PC）标准，至今仍被不断的沿用和发展。2004年，IBM将个人电脑业务出售给中国电脑厂商联想集团，正式标志着从“海量”产品业务向“高价值”业务全面转型。

另外，IBM还在大型机，超级计算机（主要代表有深蓝、蓝色基因和Watson），UNIX，服务器方面领先业界。

软件方面，IBM软件集团（Software Group）分为软件行业解决方案以及中间件产品，包括业务分析软件（Cognos、SPSS）、企业内容管理软件、信息管理软件（DB2、Infomix、InforSphere）、ICS协作（包括Lotus等）、Rational软件（软件生命周期管理）、Tivoli软件（整合服务管理）、WebSphere软件（业务整合与优化）、System z软件。

IBM在材料、化学、物理等科学领域也有很深造诣。硬盘技术、扫描隧道显微镜（STM），铜布线技术，原子蚀刻技术都是IBM研究院发明。

IBM当前仍然保持着拥有全世界最多专利的企业的地位。自1993年起，IBM连续20年出现在全美专利注册排行榜的榜首位置。到2002年，IBM的研发人员共累积荣获专利22358项，这一记录史无前例，远远超过IT界排名前十一大美国企业所取得的专利总和，这11家IT强手包括：惠普、英特尔、Sun、微软、戴尔等。IBM在2012年获得了6478项美国专利，刷新该公司的历史新记录。

2006年全年经营业绩——收入总额914亿美元，剔除被剥离的PC业务增长4%。

2008年，尽管全球金融危机的威胁继续存在，但IBM的收益依然保持稳定上升，实现营业收入1036亿美元，实现创纪录的营收；税前利润167亿美元；实现创纪录的获利。作为企业界的常青树，IBM对市场的洞察和把握，使其在金融危机的大潮中一如既往的稳步。

2009年，IBM总营收1036亿美元，全球雇员约398455人。

2010年，IBM在《财富》排行榜中名列48位，2009年名列第45位。

2011年9月30日，截至周四收盘，IBM的市值达到2140亿美元，从而一举超越微软成为全球市值第二高的科技企业。这是15年来IBM市值首超微软。

截止到2012年12月31日，全年净收入为166亿美元，比2011年的159亿美元增长了5%。运营（非GAAP）净收入为176亿美元，比2011年的163亿美元增长了8%。

2012年总收入为1045亿美元，比2011年的1069亿美元下降了2%（按汇率调整后持平）。

IBM表示，公司期望2013年全年的GAAP摊薄后每股收益至少达到15.53美元；每股营运（非GAAP）摊薄后每股收益至少达到16.70美元。

在过去的几年里，IBM已经完成了业务模式的完全转型。IBM 的全球能力包括服务、软件、硬件系统、研发及相关融资支持。IBM的业务模式是灵活的，能够与不断变化的市场和经济环境相适应。

IBM公司同时也是备受世人尊重的公司。受人尊重的原因，其中之一是能够在近百年的历史过程中，多次领导产业革命，尤其是在IT行业中，制定多项标准，并努力帮助客户成功。另外，该公司一直在世界500强中位居前列。更为重要的是，其受人尊重的原因在于，IBM公司近百年的历史当中，一直坚持遵守“沃森哲学”。