年轻的巴别尔很快投身革命，他被布尔什维克接纳为“契卡”成员，所谓“契卡”，即“俄罗斯苏维埃联邦社会主义共和国人民委员会肃清反革命及怠工非常委员会”的简称。巴别尔同时代人回忆说，他加入组织后，显得很兴奋，他说，他终于可以通过参与这个新生政权，洞悉发生在俄国的一切：生与死、欢乐与痛苦、爱情与性。巴别尔几乎参加了“契卡”所有大规模活动，特别是，他参与了布尔什维克“征粮队”（Продовольственные отряды），亲眼目睹苏俄红军籍征粮，对乡村实施大规模野蛮抢劫的过程。布尔什维克的征粮运动，伴随着残酷的征战，血腥的屠杀和无穷无尽的对文明世界毁灭过程，因此，巴别尔从新生的无产阶级政权身上，窥见到愚昧、冷酷、残暴、肮脏和幻灭，它开始如实地记录这些发生在身边故事，但就在他写作的同时，也产生了前所未有的幻觉，那就是死亡如洪水猛兽，迅猛而至，他和所有的人一样，面对死亡，无路可逃，只有随波逐流，任其摆布。那时的巴别尔已经感觉到，他在参加革命过程中所积累的感受，巴别尔前所未有，急欲与人分享，于是他写下了一些文字，即是他早期发表的一些短篇小说作品。

巴别尔于一九二零年加入布琼尼（Семён Будённый）的苏俄红军骑兵，他作为参谋部主办的《红色骑兵报》的随军记者，随部队在乌克兰西部地区与波兰军队作战，因此，他亲眼目睹了杀戮和死亡，他觉得，骑兵军的每一次战斗，都是血与火的洗礼，每一次杀戮，都在他内心引发剧烈的骚动和恐怖，那段时间，巴别尔终日沐浴着血与火，除了写日记之外，还给骑兵军战地报社撰稿以及给各级指挥部誊写公文。所有这些文字，后来均构成巴别尔文学创作的重要组成部分，即一九二六年面世的短篇体长篇小说《骑兵军》的内容。

其实，在一九二三至一九二六年期间，《骑兵军》里的部分短篇，已经在苏俄莫斯科的一些报刊杂志发表，当时即引起了读者和文学界的广泛关注。一九二六年《骑兵军》发表，巴别尔更让文学界刮目相看，作为横空出世的苏俄年轻作家，他很快成为文坛焦点人物。与荣誉相伴，巴别尔也遭人嫉妒，甚至连昔日红色骑兵军军长布琼尼，也对《骑兵军》强烈反感，布琼尼读了书之后，认为巴别尔诋毁红色骑兵，愤怒至极，还威胁要像剁白菜那样，刀劈巴别尔。苏联解体之后，俄罗斯历史学家，在莫斯科郊外专门关押苏联政治犯的苏汉诺夫监狱（Сухановская тюрьма），发现了巴别尔一九三九年的审讯记录，他替自己辩解道：“《骑兵军》一书创作对我而言，不过源于我自童年与生俱来的恐惧感，它与苏联所发生的一切无关，当然其中渲染了对国内战争的残酷性，自然主义和色情主义，漠视党的角色。”寥寥数语，足见巴别尔当时所承受的巨大精神压力。

巴别尔的《骑兵军》出版后，确实受到苏俄广泛的青睐，其中既有拥戴红军的，也有同情白军的读者，连当时苏俄红军领袖之一的托洛茨基（Лев Троцкий）也承认，巴别尔不愧是苏俄最优秀的作家，《骑兵军》对红军和白军的描写都很客观，他们在战争中，无一例外烧杀抢掠，作恶多端。从这点上看，理论家托洛茨基和大老粗布琼尼，在评价巴别尔作品上，实在不是一个层次，托洛茨基还精辟地指出，《骑兵军》里人物刻画和情节展开时不粉饰和不歪曲，点出了巴别尔小说独特的艺术真实性。

在苏俄曾经关心和爱护巴别尔的名人中，首当其冲是高尔基（Максим Горький）。他毫不掩饰对巴别尔的喜爱，特别喜爱他那支毫不留情的笔，经常让人感到难堪和窘迫。高尔基还在他主编的《编年史》（Летопись）杂志上，发表了巴别尔的第一批小说，后来巴别尔连同《编年史》编辑部一同被告上法庭，罪名是传播淫秽文学，后来还是高尔基出面干预，方才平息风波，原告宣布撤诉。巴别尔在事件之后，曾与高尔基长谈，高尔基对他说，虽然他的杂志发表了巴别尔的作品，但是并不等于巴别尔的作品已经完美无缺，相反，他告诉巴别尔，他的小说还很不成熟，很多事情，巴别尔还一无所知。他对巴别尔说：“你到人间去吧。”巴别尔二话没说，就走向了社会，做过多种职业，体验不同人生，逐渐开阔了眼界，见了大世面，也丰富了自己的阅历。他此后再写的小说，不仅超越了自己，也令苏俄文坛一线作家刮目相看，当时如日中天马雅可夫斯基（Владимир Маяковский）、别雷（Андрей Белый）和富尔曼诺夫（Дмитрий Фурманов ）等人对巴比尔的作品极为推崇。巴比尔这才算是在俄苏文坛立足，得到读者广泛的认可。他也因此有了远行欧洲，出国考察的机会，他在国外拜会了慕名已久的流亡作家茨维塔耶娃（Марина Цветаева）和列米佐夫（ Алексей Ремизов）等，所有这些，后来都是他被戴上间谍帽子的理由。