马云没听他们的，第二天一早，就拿出六七千元，向妹妹、妹夫借了1万多元，凑足2万元。然后，马云给杭州电子工学院计算机教师何一兵打了电话：“你听说过Internet吗？我们一起干Internet吧。”
1995年4月，中国第一家互联网商业公司杭州海博电脑服务有限公司成立。3名员工是马云、马云的夫人张瑛和何一兵。此时离中国电信的互联网开通还有4个月。
1995年5月9日，中国黄页上线，马云开始从身边的朋友做生意。他的生意经是，先向朋友描述Internet怎么怎么好，然后，向他们要资料，通过EMS寄到美国，美国的合作伙伴将homepage做好，打印出来，再快递寄回杭州。马云将网页的打印稿拿给朋友看，并告诉朋友在Internet能看到。
此时，离中国能上Internet还有3个月。
由于不能实际地看到，朋友怀疑马云在编故事。马云说：“你可以给法国的朋友打电话，给德国的朋友打电话，或者给美国的朋友打电话，电话费我出。如果他说没有，那就算了；如果他说有，证明是有了，你要付我们一点点钱。”中国黄页当时的收费标准是，一个homepage3000字外加一张照片，收费2万元，其中1.2万元给美国公司。
1995年，互联网上的中国网站太少，所以，中国黄页的效果很好。望湖宾馆是当时网上能看到的唯一的中国宾馆，时逢世界妇女代表大会，许多世界妇女代表到杭州后，专程过去看望湖宾馆。钱江律师事务所上线之后，留的是家里电话，于是总有业务咨询电话在半夜三更打过来。
经历了风风雨雨，马云的中国黄页越做越好，越做越厉害，到1995年8月，中国电信开始在上海做了，马云也马上紧跟着做。马云说，当时他们的注册号是第七号。那时候拨号用长途，他一点儿都不懂用PPT，要写下一大堆的东西。
从此，马云挺直了腰，也开始有了收入。他们在全国27个城市一个一个地开拓业务，在所有没有互联网的城市，他们都被视为骗子。但马云仍然像疯子一样不屈不挠，他天天都先这样提醒自己：“互联网是影响人类未来生活30年的3000米长跑，你必须跑得像兔子一样快，又要像乌龟一样耐跑。”然后出门跟人侃互联网，说服客户，说服记者。业务就这样艰难地开展了起来。
在成功地发布了无锡小天鹅、北京国安足球俱乐部等中国第一批互联网主页后，中国黄页开始在圈子里小有名气了。就在1997年年底，网站的营业额竟不可思议地做到了700万元！追溯起来，阿里巴巴网站的雏形应该就是中国黄页网站。
马云的成功，得益于他那个极其出色的团队。当初，在那个房间里，后来被称为“十八罗汉”的创始人并未聚齐。当时，戴珊正在老家海南过春节，孙彤宇、彭蕾也身在重庆。
1996年年初，杭州一场招聘会现场，一个学生走到一个人数不多的公司面前，想咨询一下情况。这家公司叫中国黄页，负责面试工作的，是它的技术总监何一兵。这个学生又是谁呢，他就是阿里巴巴大名鼎鼎的李琪。
那年，李琪刚从中山大学计算机系毕业，回到家乡杭州探亲，无意中看见这场招聘会。这次是中国黄页第一次大规模招新人，几天之后，李琪就到中国黄页去上班了。
后来，马云去美国出差（当时中国黄页的服务器在美国），把李琪也带上了。在那里，他们一起参观了中国黄页租用了1年多的服务器，并到硅谷考察，参观了当时蒸蒸日上的网景、雅虎等公司，接触到许多国内没有的新东西、新技术。
回国后，李琪立即着手建设中国黄页自己的网站和服务器，并很快做出了中国黄页自成立以来自主开发的第一个页面。马云说：“那时候第一个网页做得丑死了，但我们很高兴，因为我们毕竟能够自己做网页了。过了一段时间之后，我就跟合作伙伴断绝了关系。”
另一个要提到的重要人物，叫孙彤宇。
孙彤宇当时在杭州一家小广告公司上班。有一天在报纸上他发现了一篇报道——《中国黄页闯世界》，广告人的敏锐直觉告诉他，“这有可能是个大客户。”放下报纸，孙彤宇立马去拜访中国黄页，想“搞定这个大客户”，为其做广告宣传。
孙彤宇敲开中国黄页的大门以后，就开始跟副总何一兵谈，而马云则坐在他们的对面听。孙彤宇的热情与敬业深深吸引了马云。几天之后，孙彤宇就接到了马云的电话：“小孙，我觉得你是个很有潜力的人才，来中国黄页发展怎么样？”
1996年的4月份，孙彤宇加盟了中国黄页。孙彤宇加入中国黄页后，充分展示了其在策划、宣传和业务推广上的天分，为中国黄页后来的市场开拓立下了汗马功劳。不仅如此，他还极力鼓动自己的女友彭蕾也加入中国黄页。这样，彭蕾成为马云手下一员叱咤风云的得力“女将”。
后来，陆续加入中国黄页的还有马云的学生蒋芳（1996年5月进入中国黄页）、后来被蒋芳冠以绰号“吴妈”的网络高手吴泳铭（1996年年底进入中国黄页）、韩敏（1997年进入中国黄页），以及后来历任阿里巴巴销售总监、资深总监的谢世煌。
从杭州城开始，马云就吸引了这些后来跟随其先后北上、南下的亲密伙伴，而日后常被人们提起的阿里巴巴“十八罗汉”，也是从中国黄页时代开始陆续发展起来的。
北上，加盟外经贸部
1996年，互联网开始成为各大媒体的热点，成为新经济最有力的代表。马云的中国黄页在一夜之间冒出来了许多“敌人”，这当中还包括亚信。亚信差点成了中国黄页的死敌，幸好亚信觉得做这块不但与中国黄页比没有优势，就是与杭州电信比也说不清鹿死谁手，于是就退出了。
与马云竞争最激烈的是杭州电信。这是一场实力悬殊的战争，杭州电信注册资本3亿多元，马云注册资本仅2万元；这也是一场你死我活的战争，杭州就这么大一个庙，容不下两个和尚，正所谓“一山不容二虎”。杭州电信有着非常好的社会资源和政府资源，马云却一样都没有。不仅企业，就是老百姓，也觉得马云是非正规军、游击队，顶多也就算得上是“土八路”，没有人肯相信他们。除此之外，杭州电信利用中国黄页（chinapage.com）已有的名声，做了一个名字很近的网站chinesepage.com，也叫“中国黄页”，颇有大军压境之势。
联想到自己势单力薄，并且也为了使中国黄页继续活下去，马云决定同杭州电信合作。1996年3月，中国黄页将资产折合成60万元人民币，占30％的股份；杭州电信投入资金140万元人民币，占70％的股份。
马云与杭州电信的合作是不得已而为之的选择，不久双方合作就出了问题。马云认为，做互联网公司犹如养孩子，要慢慢地培养，等它有能力赚钱时再放手大干。但是，杭州电信一门心思地想立刻大赚一笔。
这样，双方争论不休，分歧日深，资本和权势高的一方自然有更多的话语权，大家开始情绪激动地处事，先是何一兵要辞职，然后中国黄页的全体员工要辞职，最后马云也要辞职了。整个事件甚至惊动了《人民日报》。
为了中国黄页的前途，各方面都想让马云回去，但马云心里委屈，觉得自己真不容易，打南打北打到头没自己的地儿了！马云不得不和杭州电信分道扬镳，放弃了自己的中国黄页，开始下定决心执意要走。
马云离开中国黄页时，一屋子坐满了跟马云一起做事的哥们儿，有人抱怨，不甘心辛辛苦苦2年就这么完了；有人觉得待在失去了马云的中国黄页没劲，哭着闹着要跟马云一起走。马云也觉得委屈，也觉得不甘心，但最后，他还是硬起心肠说：“不行，中国黄页还得活下去，你们走了中国黄页怎么办？”
一向不在乎金钱的马云把当时所拥有的中国黄页21％的股份，全数送给了一起做事的员工，只为让他们能为自己好好耕耘，好好收获。
1997年，带着并不一帆风顺的经历，内心无比悲愤的马云离开了重组后的中国黄页。这是马云职业生涯中的第一次失败。
马云遭遇了人生中第一次重大挫折，但他从不因失败而掉泪，他承受的各种白眼和闭门羹难以计数。“这些事太多太多。每次打击，只要你扛过来了，就会变得更加坚强。我又想，通常期望越高，结果失望越大，所以我总是想明天肯定会倒霉，一定会有更倒霉的事情发生；那么明天真的有打击来了，我就不会害怕了。你除了重重地打击我，又能怎样？来吧，我都扛得住。抗打击能力强了，真正的信心也就有了。”“所以我现在最欣赏两句话，一句是丘吉尔先生对遭受重创的英国公众讲的话：Never nevernever give up（永不放弃！）另一句就是，‘满怀信心地上路，远胜过到达目的地’。”
马云从摔倒之处爬起来，舔干血迹重新上路了。1997年，当马云离开中国黄页时，外经贸部对马云说：“到北京来吧，来这儿你能干得更好！”
那么，马云来北京加盟外经贸部究竟要做什么呢？这里，不得不提到外经贸部中国国际电子商务中心的历史。1996年2月，中国国际电子商务中心正式成立，英文简称为CIECC。尽管早在1996年2月便成立，但CIECC的正式运营，却要等到近1年之后1997年1月。
当时，外经贸部要做的是一个大内网加上一个官方政府网站（MOFTEC网站）。对于大内网的架构，领导们的设想是这样的：在全国范围内铺设光纤，在外经贸部下属的各个分支机构分别设立接口网点，所有的网点互联起来就构成了一个大内网。在这个大内网上，外经贸部及其下属机构可以为企业办理所有与外贸相关的审批手续；同时，也可以通过这个大内网向外贸企业发布相关的外贸政策法规。整个大内网项目的开发则由外经贸部下属的中国国际电子商务中心来负责。而且，这也是一个联合国提供资金支持的项目。
有政府的支持，铺设光纤等基础网络架设工作并不复杂，而外经贸部高层最关心是：找到优秀的，最合适的人才来经营这个项目。那么，什么样的人才是最合适的呢？起步阶段的中国互联网，最缺乏的是懂得经营，懂得把互联网当做生意来做的人才。于是，在杭州因为经营中国黄页而名气大震的马云，成了外经贸部领导眼中理想的人选。
1997年12月，马云再次率队踏上了北去的列车。这一次，随同他一起北上的有7个人：张瑛、孙彤宇、吴泳铭、盛一飞、麻长炜、楼文胜、谢世煌。当然，这些只是先遣部队的成员。再过不久，还会有另外一批人陆续加盟，他们是彭蕾、韩敏、蒋芳、戴珊和周悦红。此次北上的13个人（包括马云在内）中，有两对夫妻，一对是马云和张瑛，另一对便是孙彤宇和彭蕾。
作为马云的夫人，张瑛跟随夫君北上自然是义不容辞的，跟着马云一路折腾来、折腾去，她是没少吃苦，尽管她自己并不觉得苦。至于彭蕾，就在几个月之前，单位刚刚开始分房子，为了追随马云（当然也包括丈夫孙彤宇），她毅然放弃了这大好机会，踏上了北去的征程。
为了能挖到马云，外经贸部提供了优厚的条件，给中国国际电子商务中心提供200万元的启动资金，并承诺给马云团队30％的股份。马云团队主要负责开发外经贸部官方网站（大内网），也是当初马云受邀的主要任务。
对于大内网的设想，马云一开始并不同意，但最终还是屈从于官方的意志，硬着头皮做起来了。
马云手下的12个人，个个身怀绝技，有几个人还是在网络江湖摔打了好几年的。因此，做网站开发对他们来说已是轻车熟路，何况这帮人在中国黄页时就积累了丰富的开发经验。在大家“一不怕苦，二不怕累”的劲头下，网站是做好了，做得很快，也很成功。但是，到了运营的环节，问题又出来了：政府的红头文件下去了，业务却非常冷清。
冷清的原因是，外经贸部的这个大内网实际上有些像今天的“电子政务”系统，它的功能也很简单：外经贸部及其下属机构可以为企业办理所有与外贸相关的审批手续；同时，也可以通过这个大内网向外贸企业发布相关的外贸政策法规。
尽管EDI（将商业或行政事务处理按照一个公认的标准，形成结构化的事务处理或报文数据格式，从计算机到计算机的电子传输方法）做的大内网工程也是一个联合国提供资金支持的项目，但它的商业运营模式是行不通的。
面对困局，马云开始不断游说EDI高层扩大内网，改建互联网。1998年7月，经外经贸部高层批准，EDI成立了合资的国富通信息发展有限公司，办公地点在崇文门的新世界饭店，总经理由马云出任，并拥有合资公司的一定股份。即便如此，马云每月还是只拿固定工资。国富通成立以后，马云就带领团队开发一个叫做“网上中国商品交易市场”的项目，这是一个真正的互联网项目，也是马云真心想做的。于是，马云又带领团队转移阵地。
无论是从架构还是从实际的经营运作来看，网上中国商品交易市场都算是当时中国电子商务领域非常成功的一个项目。尽管网上中国商品交易市场也是收费的业务，但收费的办法已经不像做大内网时那么老土（用政府的红头文件推广）了，而是采用更市场化的方法。