DeepSeek-MoE

相关资源：github， 论文 DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

MCP github 主页， MCP 官方文档

MCP Server

# server.py
from mcp.server.fastmcp import FastMCP
from mcp.server.fastmcp.prompts import base

# Create an MCP server
mcp = FastMCP("Demo")


# Add an addition tool
@mcp.tool()
def add(a: int, b: int) -> int:
    """Add two numbers"""
    return a + b


# Add a dynamic greeting resource
@mcp.resource("greeting://{name}")
def get_greeting(name: str) -> str:
    """Get a personalized greeting"""
    return f"Hello, {name}!"

1. 背景

2023 年，妙鸭相机因其创意性的 AI 写真生成功能受到广泛关注，市场上也随之涌现了大量基于 Stable Diffusion（SD）模型的生图应用。作为一名技术爱好者，笔者在妙鸭相机发布后不久，进行了 Stable Diffusion + LoRA 的技术验证，并发现了搭建类似 AI 相机的可行性。

参考文章：妙鸭=SD + Lora? 对 SD+LoRA 的一些探索与验证

领导者思考

1. 领导者是什么

领导者是能够激发他人、整合资源并引导团队实现共同目标的人。他们的职责不仅是完成任务，更重要的是塑造团队的整体方向和价值观，包括：

• 设定方向 ：为团队提供清晰的愿景和战略。
• 影响他人 ：通过个人魅力、信任和专业能力影响团队成员的行为。为团队提供一个积极、安全的工作氛围，让每个成员都能贡献自己的独特优势。
• 创造价值 ：不仅关注目标结果，还注重实现过程中的学习、成长和可持续发展。

在本文中，我们梳理了开源模型 Function Calling 能力的相关信息，包括采用的 chat template，function call 训练方案等。涉及模型 LlaMa 3.1， Mistral Large 2，glm-4-9b-chat，Qwen 2。

Llama 3.1

推荐官方指南：https://llama.meta.com/docs/model-cards-and-prompt-formats/llama3_1/

对话协议（Chat Protocal)

Llama 3.1 中采用了以下 special tokens 来辅助多轮对话和工具的调用。。

Qwen 1.5 系列

开源模型，官方博客 1，官方博客 2

在本文中，我们梳理了近期 （24 年 7 月前）部分 MOE 大模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mixtral 8x7B，Mixtral 8x22B，DeepSeek-MoE，Qwen1.5-MoE，DeepSeek-V2

混合专家模型的 Transformer 模型

对于 MOE 的基础，相比 dense model，MOE 的预训练速度更快，推理速度更快，但需要大量的显存。此外，MOE 的训练也有一些独有的 tips，详细的 MOE 混合专家模型基础，推荐参考：

混合专家模型基础（推荐）

在本文中，我们梳理了 24 年 7 月前 Mistral 系列模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mistral 7B， Mixtral 8x7B，Mixtral 8x22B，Mistral Nemo, Mistral Large 2

mistral 7B

官方博客 ，mistral 7B 论文

本文内容基于《小米创业思考》一书的深入分析，旨在提炼并阐述小米公司的核心创业理念与实践步骤。小米所倡导的互联网七字诀——"专注、极致、口碑、快"，以及其独特的商业模式——包括小米方法论、爆品模式和铁人三项，为我们提供了一套创业的行动指南。

写在前面：雷军 2024 的演讲，讲述了小米造车起步的故事。

参考视频：【演讲回顾】2024 年雷军年度演讲纯净版

以下内容为 AI 字幕+AI 总结。