作者写了一本关于IT架构师成长和认证的书,希望先通过连载的形式拿出来分享,结合读者的反馈来不断调整完善。本书希望对于那些想成长为架构师,并在架构师职业发展道路上不断进阶的读者们有所借鉴和指导,也欢迎业内专家不吝赐教和斧正。 目前作者在参与信通院企业架构推进中心企业架构相关成熟度模型标准的制定工作中发现,我们目前不少的企业对于企业架构、解决方案架构(或者系统架构)的概念和范围理解上还存在混淆、偏差和不一致的地方,作者也是希望通过个人和相关业内专家的共同努力,推动企业架构和解决方案架构更加系统性、结构化、标准化,并且开放化地发展。 作者一直以为企业架构理论和实践的发展离不开企业(2B)和个人(2C),企业的架构最终还是需要由具备企业架构思维的人才进行架构运用和实践,所以企业乃至整个社会,对于架构师人才梯队的培养也是非常重要的一环。本人是IBM L3 Thought Leader 级别认证架构师,The Open Group的L3认证杰出架构师,也是TOGAF企业架构,OAA开放敏捷企业架构,以及银行业架构网络BIAN认证架构师。曾任The Open Group 架构标准组合本地化联席主席,负责领导了OAA开放敏捷企业架构标准的本地化、推动TOGAF10标准的本地化、翻译和推动BIAN相关标准的本地化工作;也作为全球企业架构师联合会(AEA)架构师执业证规范特邀专家进行了L1~L3企业架构师及各领域架构师的遵从性标准的制定工作;是中国信通院企业架构推进中心特邀专家,参与企业架构成熟度模型系列标准的编写和标准评审工作。作者本人也是期望结合自身的架构师成长实践,为企业架构和架构师社区尽自己的一点绵薄之力。《IT架构师成长和认证指南》全书分成两大部分共十二个章节。 第一部分讲了IT架构是什么,以及如何去做IT架构,包括IT架构思维及不同视角、方面的架构模型和方法。 架构视角包括功能视角的组件模型、数据视角的数据模型、运营使用视角的运用模型;架构方面包括关键的非功能性方面工程学,如性能工程、可用性工程和安全架构。 在架构知识体系化的介绍过程中贯穿以实际的案例,并提供了任务级别的架构模型开发方法和相关的架构制品,确保架构方法的可落地性和实践指导性。 另外还介绍了历来不同的架构风格,流行的架构建模语言和工具,方便读者对当今各种架构的来龙去脉有全面深入的理解,并能够熟练运用各种架构语言进行架构制品的产出,方便在架构社区的交流。 第二部分讲了考察一个架构师的角色和素养有哪些,基于此构建出架构师能力六边形模型,并介绍了IT架构师可获得相关认证的一些行动指南。《IT架构师成长和认证指南》简介和第一章 什么是IT架构
《IT架构师成长和认证指南》简介及第2章 IT架构师角色和素养《IT架构师成长和认证指南》简介及第3章 IT架构思维(一)《IT架构师成长和认证指南》简介及第3章 IT架构思维(二)
《IT架构师成长和认证指南》简介及第3章 IT架构思维(三)
《IT架构师成长和认证指南》简介及第3章 IT架构思维(四)
《IT架构师成长和认证指南》简介及第3章 IT架构思维(五)
作者想跳一下,直接介绍架构师需要掌握的架构风格,以及现在流行的生成式AI架构风格。这是由于在上周六的时候,参与到数栾模型科技组织的一次架构师沙龙讨论,大家都谈到了生成式AI时代,企业架构会发生哪些变化,架构师做架构的方式会发生什么变化,架构工具又会有哪些变化。所以就将本书第十章的内容提上来了,跟大家分享。 本书第十章介绍了当今世界主要流行过或正在流行的架构风格。现实世界中,所有的这些历史架构风格遗留下来的系统都存在,架构师需要了解这些架构风格,并且掌握这些架构风格相关的参考架构,才能在企业中解决各种架构问题。
第10章 架构风格和参考架构
架构的魅力就在于其理念可以保持相对稳定,但是架构的实践却因技术的进步而表现出不同的风格。架构师在这个过程中,要不断地学习和实践,确保IT解决方案架构设计能够与时俱进,反映业务需要,反映企业架构要求,反映技术进步的架构实践。
图10-1 IT应用架构风格的演进
如上图所示,笔者总结了当今IT架构风格的演进过程和趋势。总体上来看,我们目前的实践还多处于微服务、分布式和云原生架构,以及开放API生态和生成式AI驱动的架构,主要体现为由单体架构和多层架构往分布式、微服务、云原生架构上进行现代化迁移,这个过程会结合开放API和生成式AI等要素提升生产力,实现开放生态经济和人工智能驱动的新业务模式。这条路线本着提升IT效率,降低企业内部和企业之间的信息集成成本,可实现低成本的信息互联式的星形开放生态。所谓星型开放生态,是指由多个主体构成的业务生态中,往往以一个核心的主体为中心,向四周其他主体进行业务发散,形成的以核心主体为中心的价值链生态。
这个世界是丰富多彩的,除了中心化的信任风格,还有着另外一条架构风格路线在演进,即去中心化的信任风格,以区块链和分布式账本为代表实现不同主体之间的去中心化信任的价值互联网,这条路线本着去除信任的成本,降低企业或个体之间的互信成本,可实现低成本的价值互联式的网状开放生态。
AI让生产力极大提升,发展到一定阶段必然会迎来拐点。根据马克思关于生产力和生产关系的论述,生产力是生产方式中最活跃、最革命的因素,经常处于变化和发展之中。与生产力相比较,生产关系则更具有相对稳定性,一种生产关系一经产生,就在一定的历史时期内保持相对稳定的形式。但是,生产关系也不是凝固不变的。随着生产力的发展,生产关系在相对稳定中也会发生部分的、某些方面的重要变化。当生产力发展到一定阶段,原来的生产关系再也容纳不下它的发展时,就迟早会引起生产关系的根本变革,使旧的生产关系为新的生产关系所代替。一方面,生产力决定生产关系。另一方面,生产关系对生产力有重大的反作用,它会起着束缚或解放生产力的作用,起着阻碍或发展生产力的作用。当生产关系与生产力的发展要求相适合时,它会有力地推动生产力的发展;当生产关系与生产力的发展要求不相适合时,它会阻碍甚至破坏生产力的发展。 当原有现实世界的生产关系再也容纳不了基于数字化AI生产力的发展时,就会发生大变革。作者认为届时需要建立新的基于数字世界的生产关系来替代原有依附于现实世界的生产关系,以释放AI产生的巨大生产力。目前能够看到的可能就是基于区块链、分布式账本、智能合约以及数字货币技术,建立起数字世界弱中心化/去中心化生产关系。
值得注意的一点是,我们不排除不同的架构风格可以共存的事实,在一个企业内或者企业之间,可能同时存在多种架构风格。只不过IT架构风格的发展,是随着技术进步,环境变化,管理方式而不断实践发展而成的。一个长期经营的企业,其IT架构也会有多元化的风格。
考虑到现在各个企业正如火如荼开展的数字化转型,我们会介绍主要的架构风格和参考架构,以便架构师能够理解到不同架构风格出现的底层逻辑,并且清楚如何向另外的架构风格进行演进变化。
本书前面还有六个小节介绍了单体架构风格、n-Tier架构风格、SOA架构风格、微服务架构风格、分布式架构风格、云原生架构风格、开放API生态架构风格,这些在本文中暂且跳过,直接跳到生成式AI架构风格。10.7 生成式AI架构风格
“我们训练了一个名为 ChatGPT (Chat Generative Pre-trainedTransformer)的模型,它以对话方式进行交互。对话形式使 ChatGPT 能够回答后续问题,承认错误,挑战不正确前提条件,并拒绝不适当的请求。” 2022年11月30日OpenAI发布了ChatGPT产品,该交互式聊天产品基于GPT3.5大语言模型(Large Language Model,LLM),短短5天注册人数达100万,到2023年1月月活用户过亿。由此引发了全球各机构研究Transformer,并基于Transformer深度学习架构训练包括大语言模型在内的各基础模型(Foundation Model)的热潮,各大厂商也纷纷推出自己的基础模型,并开启了规模化应用生成式AI的热潮。比如国外公司Google推出的BERT、PaLM、 Claude、 Gemini, Meta推出的Llama, OpenAI推出的GPT4、DALL-E,IBM推出的Granite,国内公司百度公司推出的文心一言,华为推出的盘古大模型、阿里巴巴推出的通义大模型,科大讯飞推出的星火大模型、清华大学推出的ChatGLM对话语言模型,腾讯的混元大模型。生成式AI应用具有强大的自然语言理解和生成能力,还能够进行多模态的处理和生成,如文本、图像、音频、视频。
企业要基于基础模型构建出满足企业业务需要的生成式AI应用,需要建立合理的生成式AI架构。
图10-14 生成式AI架构风格
如上图所示,完整闭环的生成式AI需要建立在基础设施、AI基础平台、数据平台之上,其包括模型平台和基于模型平台之上建立的各种企业级AI应用。
AI基础平台提供基于基础设施资源之上的各类优化,如大规模数据处理优化、任务调度优化、计算同硬件适配以充分利用算力、多云资源使用的集群管理,确保模型训练和优化过程稳定可持续、良好的交互体验,以及整个过程可观测,且安全合规。
数据平台和服务提供基于开放数据格式的各类模型训练和测试的数据,提供各类企业结构化、非结构化数据的注入、访问和处理,支持流数据处理,提供对多数据库的联邦查询,提供向量数据库支持相似度检索、提示工程和检索增强生成(Retrieval-Augmented Generation, RAG),提供图数据库支持知识工程,满足数据安全和治理要求。
模型平台和服务提供对各类基础模型和领域模型的管理,预训练,微调,整合和使用,以服务于企业各应用场景。企业可以通过模型评估选择适合的基础模型,准备企业特有的领域数据,对模型进行预训练。为了让模型能够更好地服务于特定上下文领域,通过提示工程,比如以自然语言形式表达的任务描述和示范,或者提示一系列中间步骤分解的思维链提示方法,来增强模型的上下文学习能力,使其能够很好地服务于特定领域的任务。另一方面,如果上下文提示过长或者通过提示工程无法满足要求,企业需要对模型进行微调,可以基于企业无标签数据进行继续预训练,或者基于标签数据进行指令微调,或者通过带有奖惩机制的强化学习算法微调模型使其产出符合人们的预期。 模型平台支持企业基于预训练的基础模型通过特定领域数据进行领域模型的训练,让大模型具备特定领域的知识,并运用特定指令和任务示范或步骤分解提示,让模型对于特定领域特定生成目的具有准确度更高的处理和生成能力,最后将经过特定提示工程微调后的模型进行部署,成为特定领域或者特定行业的生成式AI应用。 生成式AI应用采用Transformer架构,对输入数据进行向量化嵌入embedding,结合检索增强生成RAG, 从知识库中检索出相关度高的内容作为背景提示,联合输入数据提示,给到大模型,大模型基于提示给出相关反馈数据。
图10-15 模型预训练、微调以及基于Transformer的生成式AI应用部署和使用过程
编码器和解码器是 transformer 架构的组件,用于处理和生成数据序列,例如文本。编码器接收输入数据序列(如语句),并将其转换为一系列的编码表示。每个编码表示捕获有关原始输入数据的信息,但抽象级别不同。最终的编码表示通常是输入数据序列的向量摘要总结。另一方面,解码器基于一个编码表示来生成新的数据序列,例如将原始句子翻译成不同的语言,解码器根据编码表示和到目前为止生成的token来预测序列中的下一个token。
生成式AI可以作为个人日常助理,如撰写邮件,起草报告,生成文档,通过自动化多个任务,可以提高个人日常工作效率。生成式AI可以作为软件开发生命周期助手,帮助我们进行软件开发全生命周期的工作,比如生成用户画像、构建用户故事,基于用户故事自动生成API,基于API生成代码框架和逻辑,基于用户故事生成测试代码,生成部署脚本和配置,生成基础设施配置,这会极大提升我们开发和运维的效率。生成式AI还可以作为客服机器人,提升客户服务体验,提供多模态交互等。通过把生成式AI、传统机器学习AI、自动化能力,以及企业业务能力整合使用,构筑AI+的新型场景化业务应用,提升企业整体的人工智能和自动化处理的水平。
此外,因为种种原因,大模型会出现幻象、偏见、黑盒不透明、数据隐私和知识产权,以及易受到如提示注入攻击等安全风险。构建企业级生成式AI需要确保可信AI的非功能性需求的满足,包括结果可解释性、过程透明性、模型数据无偏见体现公平性、训练和检索数据的隐私性、以及整个系统的健壮稳定性。(未完待续)
篇后语:对架构感兴趣的读者,希望走架构师职业发展道路,或者希望获得架构师认证的朋友,不论是企业架构/业务架构/IT各领域架构,还是IT解决方案架构,都可以关注微信公众号,或者加作者好友。