Simone卡尔·维特根斯坦出生于一个犹太人家庭。其实他的家庭早就已经德国化了，他们原来住在今天德国锡根-维特根施泰因县地区。他的祖父是赛因－维特根斯坦家族伯爵的大管家。1803年他去考尔巴赫做羊毛批发生意。
1808年在拿破仑统治期间当时威斯特法伦王国下令国内所有人平等，因此所有犹太人必须在三个月内选择一个姓。维特根斯坦的祖父选择了他的出生地维特根斯坦。他的羊毛公司成为考尔巴赫最大的公司，但是后来又衰败了。他的儿子海因里希·克里斯蒂安·维特根斯坦在1830年代末把公司迁到莱比锡附近。
海因里希·克里斯蒂安·维特根斯坦后来改信了新教，并于1839年与一名叫芳妮·芬格朵的犹太女子结婚。婚后他与妻弟古斯塔夫一起做羊毛生意，他们从匈牙利和波兰采购羊毛，然后在专卖到英国和荷兰等地。
1847年卡尔·维特根斯坦出生，他是11个孩子中的第六个。三年后他们家迁往奥地利福森多尔夫。卡尔·维特根斯坦的四个弟弟和妹妹是在那里出生的。1860年他们家迁居维也纳，他父亲在那里做房产生意。
11岁时卡尔·维特根斯坦首次企图出逃。17岁时他在学校里写做文章对于是否有不朽的灵魂提出质疑，因此学校对他警告，他退学。一年后，1865年，他离家出走，并从一个大学生手里买了一本护照后前往美国纽约。在这段时间里，他当过侍者、账房先生、教师和看夜人。直到两年后他才回到维也纳。然后这段不寻常的经历，使他明白了一个道理：“人们的生活总是从舒适安逸的生活走向艰难，就像希腊神话中西西弗斯的推石苦役一样，没有人能够帮助自己，只有无休止的努力才能实现理想。
1873年卡尔·维特根斯坦与一名来自布拉格犹太家庭的钢琴家莱奥波迪内家结婚。一年后两人移居特普利采，后来又搬到维也纳的一座别墅。
卡尔·维特根斯坦在维也纳工业大学学了短期工程后开始当技术绘图员和工程师，他的岩祥工作为他带来了奇迹般的经济成功。一开始他在特普利采的碾轧厂工作，1876年他被选入管理会，1877年成为厂长，几年后他也成为该厂的主股东。
1886年卡尔·维特根斯坦接收了布拉格钢铁工业协团后设立了奥地利第一个钢铁垄断。1887年他继续收购钢铁厂。1890年他把上施蒂利亚的镰刀工业集中到尤登堡联合镰刀厂。1897年他的影响达到顶峰，这一年他购买了奥地利阿尔卑斯冶金集团的股票多数，此后他严格施行合理化和集中化政策。
1898年他辞去所有职务，卖掉了他的奥地利工厂，把他的巨额财产转移到国外燃游，然后和他的夫人去环球旅游。
与其他有成就的犹太银行家和企业家不同的是卡尔·维特根斯坦拒绝被提升为贵族。他曾说自己是一个维特根斯坦，而不愿成为一个一般的“环城街伯爵”。他自己也散布传言说他的家庭可能是德国高等贵族（比如赛因－维特根斯坦家族）的一个私生子。
卡尔·维特根斯坦非常慷慨粗段搏地赞助当时的艺术界。他为维也纳分离派的形成做出了非常大的贡献。约翰内斯·勃拉姆斯、古斯塔夫·马勒、布鲁诺·瓦尔特、帕布罗·卡萨尔斯等音乐家是维特根斯坦家的常客。在家里卡尔·维特根斯坦是一个专制的丈夫和父亲，他的孩子们常受到他的责备和惩罚，这可能尤其是导致了他的儿子们的心理问题。
