Skip to content


Dify v1.0本地部署+deepseek

Dify 一词源自 Define + Modify,意指定义并且持续的改进你的 AI 应用,它是为你而做的(Do it for you)

生成式 AI 应用创新引擎

开源的 LLM 应用开发平台。内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持,提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。

在线体验:https://dify.ai/zh
开源地址:https://github.com/langgenius/dify
官方文档:https://docs.dify.ai/v/zh-hans

Dify云服务,可以在线使用.

  • Sandbox(免费版) 每天可调用200次GPT
  • 专业版 $59/month
  • 团队版 $159/month
  • 企业版 面议

开源社区版
安装 Dify 之前, 请确保你的机器已满足最低安装要求:

CPU >= 2 Core

RAM >= 4 GiB

克隆 Dify 代码仓库

安装git

yum install -y git

克隆 Dify 源代码至本地环境

# 假设当前最新版本为 0.15.3
git clone https://github.com/langgenius/dify --branch 0.15.3

Cloning into 'dify'...
remote: Enumerating objects: 143184, done.
remote: Counting objects: 100% (530/530), done.
remote: Compressing objects: 100% (279/279), done.
remote: Total 143184 (delta 440), reused 252 (delta 251), pack-reused 142654 (from 4)
Receiving objects: 100% (143184/143184), 75.24 MiB | 6.51 MiB/s, done.
Resolving deltas: 100% (105740/105740), done.
Note: switching to 'ca19bd31d42fb87c83b91541c473ebae85e9d14e'.

安装docker

docker,docker-ce,podman 安装其中之一就可
rocky8 以上默认为podman

A.安装docker

yum install docker

B.安装docker-ce

删除podman (如需要)
podman数据不会转移到docker
迁移 Docker 镜像,可以先导出再导入,容器用docker export和import
docker save -o image.tar image_name:tag
docker load image.tar

先停止所有容器的应用和删除容器,再删除安装包
podman container prune

清理所有未使用的镜像
podman image prune -a

清理所有未使用的卷
podman volume prune

清理所有未使用的网络
podman network prune

检查存储状态
podman system df

删除 Podman 存储目录
rm -rf /var/lib/containers/storage
systemctl restart podman

检查存储状态
podman system df

删除podman
dnf remove podman

删除podman残余文件
rm -rf /etc/containers /etc/registries.conf /etc/containers/policy.json /etc/containers/storage.conf ~/.config/containers ~/.local/share/containers

安装docker-ce

安装docker所需依赖

dnf install -y yum-utils device-mapper-persistent-data lvm2
dnf install -y dnf-plugins-core

添加docker官方和阿里的YUM仓库

dnf config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo
dnf config-manager –add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装 Docker Engine

dnf install -y docker-ce docker-ce-cli containerd.io

systemctl start docker
systemctl enable docker

docker –version
Docker version 28.0.1, build 068a01e

docker加速

tee > /etc/docker/daemon.json <<EOF
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://hub.rat.dev",
    "https://dockerhub.icu",
    "https://docker.wanpeng.top",
    "https://register.librax.org"
  ]
}
EOF

验证有无出错

docker info

C.安装podman

Podman 是一个与 Docker 兼容的容器工具

dnf install podman
docker –version
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
podman version 5.2.2

设置镜像网站

Podman 默认注册表配置文件在 /etc/containers/registries.conf
vi /etc/containers/registries.conf
[[registry]]
prefix = "docker.io"
location = "docker.io"
mirror = [
{ location = "docker.nju.edu.cn" },
{ location = "docker.m.daocloud.io" }
]
docker info

docker-compose 安装

docker-compose 和 podman-compose安装其中之一就可

docker-compose 安装

如果安装的是docker则安装docker-compose
https://github.com/docker/compose/releases/
curl -L "https://github.com/docker/compose/releases/download/v2.33.0/docker-compose-linux-x86_64" -o /usr/local/bin/docker-compose

使用国内加速

wget -o /usr/local/bin/docker-compose https://ghproxy.cn/https://github.com/docker/compose/releases/download/v2.29.1/docker-compose-linux-x86_64

chmod +x /usr/local/bin/docker-compose

查看 docker-compose

docker-compose –version 版本
Docker Compose version v2.29.1

安装podman-compose

#yum install podman-compose

系统自带podman-compose version: 1.0.6版本过老
podman-compose –version

podman-compose version: 1.0.6
['podman', '--version', '']
using podman version: 5.2.2
podman-compose version 1.0.6
podman --version
podman version 5.2.2
exit code: 0

会出错以下报错
Cannot connect to the Docker daemon at unix:///run/podman/podman.sock. Is the docker daemon running?

安装pip 后安装podman-compose

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py
pip –version
升级 pip
pip install -U pip

pip 国内加速

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip 安装podman-compose

pip3 install podman-compose
更新 podman-compose
运行以下命令更新 podman-compose:
pip install –upgrade podman-compose

运行以下命令检查 podman-compose 是否已安装:
pip show podman-compose

#没找到
-bash: /usr/bin/podman-compose: No such file or directory

find / -name podman-compose 2>/dev/null

/usr/share/licenses/podman-compose
/usr/share/doc/podman-compose
/usr/local/bin/podman-compose

将路径加入到环境变量

#临时
export PATH=/usr/local/bin:$PATH
#永久添加
echo 'export PATH=/usr/local/bin:$PATH' >> ~/.bashrc
source ~/.bashrc 

查看版本

podman-compose –version

podman-compose version 1.3.0
podman version 5.2.2

使用podman-compose 拉起会报错
podman-compose up -d

RuntimeError: missing networks: 

改用docker-compose兼容方式

 检查 Podman 套接字文件

ls -l /run/podman/podman.sock
Podman 的套接字文件通常位于 /run/podman/podman.sock。如果该文件不存在,可能是系统未启用 Podman 的套接字功能。

 启用 Podman 套接字

运行以下命令启用 Podman 套接字:
systemctl –user enable –now podman.socket
验证套接字文件
ls -l /run/podman/podman.sock

如果 Podman 套接字仍未生成,可以尝试手动启动 Podman 套接字服务。

 手动创建套接字文件

podman system service –time=0 unix:///run/podman/podman.sock &
chmod 666 /run/podman/podman.sock
export DOCKER_HOST=unix:///run/podman/podman.sock

docker-compose ps

注册开机自动启动podman socket

cat >/etc/systemd/system/podman.socket.service<<EOF 
[Unit]
Description=Podman API Socket
Documentation=man:podman-system-service(1)
After=network.target

[Service]
ExecStart=/usr/bin/podman system service --time=0 unix:///run/podman/podman.sock
Restart=always
User=root
Group=root

[Install]
WantedBy=multi-user.target
EOF 

systemctl daemon-reload
systemctl enable podman.socket.service
systemctl start podman.socket.service
systemctl status podman.socket.service
ls -l /run/podman/podman.sock

Dify 安装

进入 Dify 源代码的 Docker 目录

cd dify/docker
复制环境配置文件

cp .env.example .env
启动 Docker 容器

根据你系统上的 Docker Compose 版本,选择合适的命令来启动容器。你可以通过 $ docker compose version 命令检查版本,详细说明请参考 Docker 官方文档:

如果版本是 Docker Compose V2,使用以下命令:
docker compose up -d

如果版本是 Docker Compose V1,使用以下命令:
docker-compose up -d

使用docker-compose拉起

docker compose pull

Trying to pull docker.io/library/redis:6-alpine…
Trying to pull docker.io/langgenius/dify-api:0.15.3…
Trying to pull docker.io/library/postgres:15-alpine…
Trying to pull docker.io/langgenius/dify-web:0.15.3…
Trying to pull docker.io/ubuntu/squid:latest…
Trying to pull docker.io/langgenius/dify-api:0.15.3…
Trying to pull docker.io/semitechnologies/weaviate:1.19.0…
Trying to pull docker.io/library/nginx:latest…
Trying to pull docker.io/langgenius/dify-sandbox:0.2.10…

此时会遇到超时问题
pinging container registry registry-1.docker.io: Get "https://registry-1.docker.io/v2/": dial tcp 208.43.237.140:443: i/o timeout

测试拉取

docker pull docker.io/library/redis:6-alpine
docker pull docker.io/langgenius/dify-web:0.15.3
docker pull docker.io/library/postgres:15-alpine

ocker pull register.librax.org/langgenius/dify-api:0.15.3
docker pull register.librax.org/semitechnologies/weaviate:1.19.0
docker pull register.librax.org/library/nginx:latest
docker pull register.librax.org/langgenius/dify-sandbox:0.2.10

docker tag register.librax.org/langgenius/dify-api:0.15.3 docker.io/langgenius/dify-api:0.15.3

docker-compose up -d

[+] Running 11/11
 ✔ Network docker_default             Created                                        0.0s
 ✔ Network docker_ssrf_proxy_network  Created                                        0.0s
 ✔ Container docker-ssrf_proxy-1      Started                                        0.9s
 ✔ Container docker-db-1              Started                                        1.0s
 ✔ Container docker-weaviate-1        Started                                        1.2s
 ✔ Container docker-sandbox-1         Started                                        1.0s
 ✔ Container docker-redis-1           Started                                        0.9s
 ✔ Container docker-web-1             Started                                        0.9s
 ✔ Container docker-worker-1          Started                                        1.4s
 ✔ Container docker-api-1             Started                                        1.2s
 ✔ Container docker-nginx-1           Started                                        1.4s

你应该可以看到包括3个业务服务 api / worker / web,以及6个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox 。
通过这些步骤,你应该可以成功在本地安装Dify。

更新Dify

当Dify版本更新后,你可以克隆或拉取最新的Dify源代码,并通过命令行更新已经部署的Dify环境。‍‍‍‍‍‍‍‍‍‍‍‍
刚好Dify在2月28日发布了1.0.0版本,那么我们也就直接升级一波!

dify v1.0.0更新内容介绍
我们先来看一下这次dify v1.0.0都有哪些重磅更新

1. 插件机制 (Plugin System)

核心变化:将原有的模型和工具都改造成插件形式

应用场景:想用新的 AI 模型时,直接安装对应插件即可

需要连接 Slack 时,安装 Slack 插件就能实现集成

2. 智能工作流 (Intelligent Workflow)

新增 Agent 节点:作为工作流和聊天流的决策中心

通俗解释:相当于一个智能管家,可以根据需求自动调用合适的流程、工具

应用场景:客服机器人可以自动判断用户意图,选择合适的回复方式

数据分析任务可以自动选择合适的分析工具和展示方式

3. 开放生态系统 (Open Ecosystem)

Dify Marketplace:官方插件市场

已有 120+ 插件,包括:模型:OpenAI 、Gemini 2.0 、DeepSeek-R1 等

工具:Perplexity 、Discord 、Slack 等

应用场景:企业可以在市场中找到所需的专业工具

开发者可以发布自己的插件获得收益

4. 多模态交互 (Multimodal I/O)

支持多种数据类型:文本、图像、视频、语音

应用场景:智能客服可以处理图片问题

教育应用可以结合视频和语音进行互动

5. 核心能力增强

推理能力 (Reasoning):提升问题解决能力

执行能力 (Action):可以操作软件和物联网设备

动态记忆 (Dynamic Memory):优化上下文理解

进入dify源代码的docker目录,按顺序执行以下命令:

cd dify/docker
关闭服务
docker-compose down
git pull origin main

remote: Enumerating objects: 535, done.
remote: Counting objects: 100% (290/290), done.
remote: Total 535 (delta 290), reused 290 (delta 290), pack-reused 245 (from 1)
Receiving objects: 100% (535/535), 472.65 KiB | 1.10 MiB/s, done.
Resolving deltas: 100% (387/387), completed with 209 local objects.
From https://github.com/langgenius/dify
 * branch                main       -> FETCH_HEAD
   bafa46393..330dc2fd4  main       -> origin/main

docker-compose pull
docker-compose up -d

执行上述命令更新完成后,需按以下操作同步环境变量配置 (重要!)。‍‍‍‍

如果.env.example文件有更新,请务必同步修改您本地的.env文件。
检查.env文件中的所有配置项,确保它们与您的实际运行环境相匹配。
您可能需要将.env.example中的新变量添加到.env文件中,
并更新已更改的任何值。

查看当前ollama的模型

ollama linux部署可参考之前文章

ollama list
NAME          ID              SIZE      MODIFIED
qwen2:1.5b    f6daf2b25194    934 MB    2 months ago

ollama run qwen2:1.5b

ollama ps
NAME          ID              SIZE      PROCESSOR    UNTIL
qwen2:1.5b    f6daf2b25194    1.5 GB    100% CPU     4 minutes from now

拉取deepseek-r1:1.5b模型

ollama pull deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 100% ▕██████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕██████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕██████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕██████████████████████████▏  148 B
pulling a85fe2a2e58e... 100% ▕██████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success

ollama run deepseek-r1:1.5b

 ollama ps
NAME                ID              SIZE      PROCESSOR    UNTIL
deepseek-r1:1.5b    a42b25d8c10a    1.6 GB    100% CPU     4 minutes from now
qwen2:1.5b          f6daf2b25194    1.5 GB    100% CPU     5 seconds from now

创建宿主机到虚拟机的nat

#我使用980,正常使用80端口
#http://localhost:980/install

在virtualbox创建nat转发127.0.0.1:80端口到192.168.244.9:80

使用Dify

按照以上步骤部署好Dify后,首先前往管理员初始化页面设置设置管理员账户:

# 本地环境
http://localhost/install

# 服务器环境
http://your_server_ip/install

通过私有化本地部署Dify,结合Ollama等大模型运行环境,可以打造自己的私有大模型工具链,实现大模型的本地可视化运行。在涉密或敏感数据场合具有极大的应用价值。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

创建管理员

第一次访问需要先设置最高管理权限账号、密码

添加本地Ollama

登录进去后,右上角用户里设置
在 Dify 中接入 Ollama 在 设置 > 模型供应商 > Ollama 中填入
模型名称:qwen2:1.5b

基础 URL:http://127.0.0.1:11434,此处需填写可访问到的 Ollama 服务地址。
若 Dify 为 docker 部署,建议填写局域网 IP 地址,如:http://192.168.244.9:11434 或 docker 宿主机 IP 地址,如: http://host.docker.internal:11434http://10.89.1.1:11434

Docker版本是18.03或更高可以使用 host.docker.internal。
若为本地源码部署,可填写 http://localhost:11434

模型类型:对话

模型上下文长度:4096

模型的最大上下文长度,若不清楚可填写默认值 4096。

最大 token 上限:4096:模型返回内容的最大 token 数量,若模型无特别说明,则可与模型上下文长度保持一致。

是否支持 Vision:是(当模型支持图片理解(多模态)勾选此项,如 llava。)

点击 “保存” 校验无误后即可在应用中使用该模型。

如出现错误可以检查一下ip和端口是否正确,网络是否通畅。

An error occurred during credentials validation: HTTPConnectionPool(host='10.89.1.1', port=80): Max retries exceeded with url: /api/chat (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x7f6ea7769040>, 'Connection to 10.89.1.1 timed out. (connect timeout=10)'))

如果不想使用本地Ollama,我们也可以使用deepseek 官方API,或硅基流动的。
DeepSeek是目前最好的开源大模型

Dify v1.0.0是目前最好的开源大模型应用平台

DeepSeek + Dify v1.0.0可谓强强联手!

创建聊天助手

创建空白应用->聊天助手
发布后你就有了一个自已的聊天助手。


创建工作流

回到主页,点击创建空白应用,这里的聊天助手和文本生成应用,是功能最为单一的 LLM 应用,都不支持工具和知识库的接入。
Agent 和 工作流的区别:

Agent:智能体,基于大语言模型的推理能力,可以自主选择工具来完成任务,相对简单。
工作流:以工作流的形式编排 LLM 应用,提供更多的定制化能力,适合有经验的用户。

Posted in AI.

Tagged with , , .


火山方舟引擎限时免费注册送3000万DeepSeek R1满血版tokens

火山引擎介绍

‌火山引擎是字节跳动旗下的云服务平台‌。
豆包大模型-字节跳动自研大模型
火山方舟-一站式大模型服务平台
扣子-专业版AI应用开发平台

火山方舟免登录体验满血版671B

打开火山引擎官网的火山方舟,不用注册、不用填手机号,直接就能使用DeepSeek-R1 满血版 671B参数和豆包-1.5-pro
免登录体验3/3次,登录后后免费赠送每个模型50万tokens推理额度。
https://www.volcengine.com/experience/ark


邀请注册送代金券

每成功邀请1位新用户,最高双方可得145元代金券,可抵扣3625万tokens(相当于免费问 15 万次问题)。

具体玩法:

  • 1、登录活动页面,生成你的专属邀请码:DXRHABFP
  • 2、分享邀请链接给好友,对方注册时填写你的邀请码。
    不限邀请次数,成功邀请后均可依据规则获得奖励。
    邀请链接: https://www.volcengine.com/experience/ark?utm_term=202502dsinvite&ac=DSASUQY5&rc=DXRHABFP
  • 3、实名认证后,双方立即到账代金券:你拿 30 元(750 万 Tokens),好友拿 15 元(375 万Tokens)。如果好友后续付费,你还能再得 100 元代金券(2000 万 Tokens)!
    如账号已实名认证,代金券将在邀请成功后1小时内到账。如账号未实名认证,已邀请成功的奖励将在账号成功认证且满足邀请成功1小时后立即到账。

活动时间: 2025年2月20日0:00 – 2025年3月15日23:59

注意:
100元火山方舟无门槛代金券资需要好友付费后才能获取。
代金券自发放之日起有效期90天,不支持提现、转赠、叠加使用等操作。已过期的代金券不支持延长时效。
活动发放的代金券适用商品范围仅限字节跳动大模型服务(豆包大模型)、开源LLM模型(DeepSeek)、火山方舟大模型服务平台-知识库的全部配置,部分计费项要求现金余额或代金券余额大于100元才可开通使用,以实际使用的要求为准。
1)字节跳动大模型服务(豆包大模型)产品包含Doubao-1.5-pro-32k、Doubao-1.5-pro-256k、Doubao-1.5-lite-32k、Doubao-1.5-vision-pro-32k等模型的用量服务。
2)开源LLM模型产品包含DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Qwen-7B等模型的用量服务。
3)火山方舟大模型服务平台-知识库产品包含知识库中的向量模型、存储等服务。

API

火山方舟也提供兼容Openai的API接口,点击右上角的API接入,如下图:
第一步创建key,第二部选择模型-开通选择的模型,然后会给出实例代码。
这里开通DeepSeek-R1满血和千问32B

curl https://ark.cn-beijing.volces.com/api/v3/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $ARK_API_KEY" \
  -d '{
    "model": "deepseek-r1-250120",
    "messages": [
      {"role": "system","content": "你是人工智能助手."},
      {"role": "user","content": "常见的十字花科植物有哪些?"}
    ]
  }'

api url :
https://ark.cn-beijing.volces.com/api/v3/chat/completions
model后面是模型名称:
"model": "deepseek-r1",

==========

在浏览器插件 ChatHub 中使用

使用浏览器插件是最方便的,也省去了登录的麻烦。

关于 ChatHub

ChatHub 是一个流行的大语言模型聚合插件,特点是可以同时和多个模型聊天,方便对比回答。ChatHub 在全球拥有数十万活跃用户。

安装 ChatHub

浏览器打开 ChatHub 官网,点击“新增至Chrome”按钮安装 ChatHub 浏览器插件:

安装后,将自动打开 ChatHub 设置页面.

在ChatHub中使用火山平台的deepseek满血模型

1、在 ChatHub 设置中找到“自定义机器人”模块,点击“添加”按钮

2、在弹窗中,依次:

输入机器人名称:volcengine.com
选择 Custom 作为提供方:
API Host:https://ark.cn-beijing.volces.com/api/v3/chat/completions

输入API KEY :
填写模型 : deepseek-r1-250120

3、点击“确认”后模型即配置成功
4、开始聊天

注册扣子coze专业版

专业版,现价1元套餐,1000点数1年有效期(原先是50W 资源包),专业版用户每日赠送500资源点(仅限当日有效),可抵扣智能体调用费用和模型调用费用。
语音识别 API、语音合成 API、实时音视频 SDK 全面开放,无需申请即可使用


注意:
专业版的账号和基础版账号数据目前没有打通,也就是需要重新注册账号

隔壁硅基流动是送14 元平台配额

我的邀请链接:https://cloud.siliconflow.cn/i/LNzlifKw
我的邀请码:LNzlifKw
也可以扫描下面二维码:

Posted in AI.

Tagged with , , , , .


字节跳动于3月3日发布AI 集成开发环境工具Trae CN

字节跳动于3月3日发布国内首款 AI 原生集成开发环境工具(AI IDE)——Trae 国内版,搭载 doubao-1.5-pro 模型(目前还不能用),并支持切换 DeepSeek R1&V3。帮助开发者高效协作 AI,提升编程效率和质量。
国际版 Trae, 国内版为 Trae CN

国际版 Trae支持 Claude 3.7 Sonnet
国际版官网:https://www.trae.ai/

国内版官网地址:
https://www.trae.com.cn/home
安装包大概150M左右。

国内版集成了DeepSeek R1&V3,提供AI问答、智能代码生成、智能代码补全,多模态输入等功能。支持界面全中文化,为中文开发者提供了高效的开发体验,关键现在限时免费。

使用手机号注册登录后就可以使用。
魔改vscode,可以导入VS Code或Cursor的插件和设置。

Posted in 编辑器.

Tagged with , , .


Ollama 未授权访问漏洞,攻击者可以下载或删除私有模型文件

Ollama 是一个开源的大语言模型(LLM)运行环境和工具集,旨在帮助开发者轻松部署、管理和使用模型(如 DeepSeek 等)。

Ollama 存在未授权访问漏洞,攻击者可以直接访问敏感接口进行读取、下载或删除私有模型文件,或滥用模型推理资源等高危操作。

攻击者只需访问服务端口(默认 11434)即可调用敏感功能接口,进而读取、下载或删除私有模型文件,或滥用模型推理资源等。

直接请求api路径即可,这里查看都有哪些模型

curl http://127.0.0.1:11434/api/tags
这个接口列出 Ollama 提供的 LLM 模型。

该接口对应的处理函数是ListHandler,可以看到,未进行任何权限,直接返回模型。

func (s \*Server) ListHandler(c \*gin.Context) {  
ms, err :\\= Manifests(true)  
if err != nil {  
c.JSON(http.StatusInternalServerError, gin.H{"error": err.Error()})  
return  
}  
​  
models :\\= \[\]api.ListModelResponse{}  
for n, m :\\= range ms {  
var cf ConfigV2  
​  
if m.Config.Digest != "" {  
f, err :\\= m.Config.Open()  
if err != nil {  
slog.Warn("bad manifest filepath", "name", n, "error", err)  
continue  
}  
defer f.Close()  
​  
if err :\\= json.NewDecoder(f).Decode(&cf); err != nil {  
slog.Warn("bad manifest config", "name", n, "error", err)  
continue  
}  
}  
​  
// tag should never be masked  
models \\= append(models, api.ListModelResponse{  
Model: n.DisplayShortest(),  
Name: n.DisplayShortest(),  
Size: m.Size(),  
Digest: m.digest,  
ModifiedAt: m.fi.ModTime(),  
Details: api.ModelDetails{  
Format: cf.ModelFormat,  
Family: cf.ModelFamily,  
Families: cf.ModelFamilies,  
ParameterSize: cf.ModelType,  
QuantizationLevel: cf.FileType,  
},  
})  
}  
​  
slices.SortStableFunc(models, func(i, j api.ListModelResponse) int {  
// most recently modified first  
return cmp.Compare(j.ModifiedAt.Unix(), i.ModifiedAt.Unix())  
})  
​  
c.JSON(http.StatusOK, api.ListResponse{Models: models})  
}  

大模型拉取函数,没有进行任何权限验证。
也可以删除指定模型。

修复建议

方法一

最好的修复方法肯定是修改代码逻辑,给 Ollama API 添加认证的需求。当然这需要原作者的配合。

方法二

对web服务器配置进行修改,这里拿nginx进行举例:

对访问接口的请求,添加一个简单的密码验证。

server {
listen 11434;
​
location / {
auth_basic "Restricted Content";
auth_basic_user_file /etc/nginx/.htpasswd;
​
proxy_pass http://192.168.1.100:11434;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

漏洞分析

https://forum.butian.net/index.php/article/670

Posted in AI, 安全通告.

Tagged with , .


linux 本地部署ollama和docker版openwebui+deepseek

windows 本地部署ollama+deepseek 可见前面文章.

linux 安装ollama

这里使用virtualbox 安装了rocky9.3

cat /etc/redhat-release
Rocky Linux release 9.3 (Blue Onyx)

一健安装

curl -fsSL https://ollama.com/install.sh | sh
自动化安装,但可能下载不了
注意:应该至少有8GB的可用内存来运行7B模型,16GB的可用内存来运行13B模型,以及32GB的内存来运行33B模型。

手动安装

https://github.com/ollama/ollama/blob/main/docs/linux.md
sudo rm -rf /usr/lib/ollama

1.8g左右
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

Start Ollama:
ollama serve

In another terminal, verify that Ollama is running:

验证安装:

ollama -v
ollama version is 0.5.1

添加用户限配置

useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
usermod -a -G ollama $(whoami)

修改ollama的运行端口

对于每个环境变量,在[Service]部分下添加一行Environment.

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_FLASH_ATTENTION=1"

Ollama 提供了多种环境变量以供配置:

OLLAMA_DEBUG:是否开启调试模式,默认为 false。
OLLAMA_FLASH_ATTENTION:是否闪烁注意力,默认为 true。
OLLAMA_HOST:0.0.0.0:11434 修改默认端口 11434 端口
OLLAMA_KEEP_ALIVE:设置模型加载到内存中保持 24 个小时(默认情况下,模型在卸载之前会在内存中保留 5 分钟)
OLLAMA_LLM_LIBRARY:LLM 库,默认为空。
OLLAMA_MAX_LOADED_MODELS:设置同时加载多个模型,默认为 1。
OLLAMA_MAX_QUEUE:最大队列数,默认为空。
OLLAMA_MAX_VRAM:最大虚拟内存,默认为空。
OLLAMA_MODELS:/mnt/data/.ollama/models 模型默认下载路径,默认为空。
OLLAMA_NOHISTORY:是否保存历史记录,默认为 false。
OLLAMA_NOPRUNE:是否启用剪枝,默认为 false。
OLLAMA_NUM_PARALLEL:设置用户并发请求,默认为 1。
OLLAMA_ORIGINS:允许的来源,默认为空。
OLLAMA_RUNNERS_DIR:运行器目录,默认为空。
OLLAMA_SCHED_SPREAD:调度分布,默认为空。
OLLAMA_TMPDIR:临时文件目录,默认为空。

Linux 的 tmp 目录设置为 noexec
如果你的系统将 Ollama 存储临时可执行文件的 tmp 目录设置为了 “noexec”,你可以通过设置 OLLAMA_TMPDIR 来指定一个用户可写的替代位置。例如 OLLAMA_TMPDIR=/usr/share/ollama/

配置为系统服务

cat <<EOF | tee /etc/systemd/system/ollama.service >/dev/null
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
ExecStart=\$BINDIR/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=\$PATH"

[Install]
WantedBy=default.target
EOF

重新加载 systemd 并重启 Ollama

systemctl daemon-reload #重载服务
systemctl enable ollama #开机启动
systemctl start ollama #启动服务
systemctl restart ollama #重启服务
systemctl status ollama #查看服务状态

运行模型

一旦您下载了模型,就可以使用 Ollama 的 run 命令来运行它们。

拉取模型

ollama pull llama3.2:3b
ollama pull qwen2:1.5b
ollama pull deepseek-r1:1.5b
1.5b的运行速度比较快,也不卡,但比较笨,如果追求性能,可以尝试7b及以上的.

运行千问模型

ollama run qwen2:1.5b

>>> hello world
Hello! It's nice to meet you. Is there anything else you would like assistance with?
Use Ctrl + d or /bye to exit.
>>>

运行deepseek推理模型

ollama run deepseek-r1:7b

修改模型的存储目录

默认情况下,ollama模型的存储目录如下:

macOS: `~/.ollama/models` 
Linux: `/usr/share/ollama/.ollama/models`  
Windows: `C:\Users\<username>\.ollama\models`

如需修改,vi /etc/systemd/system/ollama.service
在[Service]下面加入一行新的Environment,新一行:

Environment="OLLAMA_MODELS=/path/to/ollama/models" 

mkdir -p /data/ollama/
chown -R ollama:ollama /data/ollama
chmod 0777 /data/ollama

mv /usr/share/ollama/.ollama/models /data/ollama/

重启服务

systemctl daemon-reload
systemctl restart ollama.service

查看日志

journalctl -u ollama | grep -i ‘prompt=’
/set verbose #设置以查看token速度

测试

curl http://localhost:11434
Ollama is running

配制web ui

安装docker

yum install docker
docker version

Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Client:       Podman Engine
Version:      5.2.2
API Version:  5.2.2
Go Version:   go1.22.7 (Red Hat 1.22.7-2.el9_5)
Built:        Tue Nov 12 20:34:59 2024
OS/Arch:      linux/amd64

Open-WebUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API。

拉取 Open WebUI 镜像

通过以下命令,从 Open WebUI 官方 GitHub Container Registry (GHCR) 仓库拉取镜像

docker pull ghcr.io/open-webui/open-webui:main
如果速度慢可以使用国内镜像再改名
docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
docker tag ghcr.nju.edu.cn/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

或者使用自已的代理加速服务器
export https_proxy=’192.168.244.1:8080′

查看默认配制
cat /etc/containers/registries.conf

先创建一个用于 Open WebUI 容器本地存储的本地目录

mkdir /opt/openwebui

通过以下命令启动容器, 映射本地3000 端口到容器内8080, 并挂载本地目录 /opt/openwebui 到容器的 /app/backend/data

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v /opt/openwebui:/app/backend/data –name openwebui ghcr.io/open-webui/open-webui:main

设为自动启动

docker update –restart always openwebui

手动启动

docker start openwebui

查看服务

netstat -lntp

Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:3000            0.0.0.0:*               LISTEN      2303/conmon
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1183/sshd: /usr/sbi
tcp6       0      0 :::11434                :::*                    LISTEN      1589/ollama
tcp6       0      0 :::22                   :::*                    LISTEN      1183/sshd: /usr/sbi

防火墙

firewall-cmd –get-default-zone
firewall-cmd –zone=public –add-port=3000/tcp –permanent
firewall-cmd –zone=public –add-port=11434/tcp –permanent

查看已经开启的防火墙端口
firewall-cmd –list-ports
firewall-cmd –get-services

重启防火墙修改才会生效
firewall-cmd –reload

在虚拟机设置nat,映射宿主机127.0.0.1:3000端口到虚拟机 192.158.244.9:3000端口.
在浏览器访问http://127.0.0.1:3000 可以显示webui界面.

注册账号密码,创建管理员账号。
[email protected]/Pass1234

如果不习惯英文界面,可以设置成中文界面

现在,我们就可以用本地部署的 千问或deepseek-r1 模型进行聊天了。

Posted in AI.

Tagged with , , .


windows 部署本地ollama+deepseek+浏览器插件Page Assist+chatboxai

本地运行LLM的框架的选择

Ollama和vLLM作为当下流行的LLM部署工具,各具独特优势与适用场景。

Ollama

  1. 安装和配置
    ■ 使用Docker容器部署,简化安装流程;
    ■ 支持多种操作系统(包括Windows、Mac和Linux),提供标准化的API接口。
    ■支持从huggingface/modelscope等平台下载的模型文件。

  2. 性能
    ■ 在GPU环境下,推理速度显著优于CPU,支持OneAPI接入提升性能;
    ■ 显存占用相对较低,例如Qwen2.5:7b模型仅需6GB显存。

  3. 资源占用
    ■ 在调用时加载模型,显存占用较低,适合在资源有限的环境中运行;
    ■ 支持多种大模型,包括Qwen2.5等。

  4. 成本
    ■ 本地部署,需要本地机器硬件支持,成本取决于硬件配置。

vLLM

  1. 安装和配置
    ■ 需要安装Python环境和相关依赖,对技术要求较高(也支持Docker);
    ■ 支持从huggingface/modelscope等平台下载的模型文件。

  2. 性能
    ■ 采用PagedAttention技术,提高内存利用率,支持高并发处理;
    ■ 在高用户负载下,vLLM官方给出的吞吐量比HuggingFace Transformers高出24倍,比Text Generation Inference高出3.5倍。

  3. 资源占用
    ■ 模型加载常驻显存,显存占用相对较高,例如单卡16GB显存可能不足以运行Qwen2.5:7b模型;
    ■ 需要较高的计算资源,适合在高性能硬件环境中运行。

  4. 成本
    ■ 本地部署,需要本地机器硬件支持,成本取决于硬件配置。

总结

在多机、多卡环境下,vLLM的性能优势可能更加明显

  • 技术基础和资源:如果有较强的技术基础和硬件资源,可以选择vLLM以获得更高的性能和吞吐量。如果希望快速搭建和管理知识库,且对硬件资源要求不高,可以选择Ollama;
  • 成本考虑:如果硬件资源有限,尤其是在只有CPU或者单卡的情况下,选择Ollama进行本地部署是一个不错的选择,能够满足大部分的场景需要。如果有一定的硬件资源,且需要MaxKB具备高性能的问答能力,可以选择vLLM,或者通过类似Xinference平台进行部署;
  • MaxKB应用场景:简单来说,对于需要高效实时响应和高并发处理的问答场景,vLLM更为适合。对于需要快速搭建和灵活管理知识库的应用场景,Ollama更为适合。

====================
支持windows本地部署LLM的框架

Ollama
Ollama:一个主打“本地化”体验的大模型推理框架
支持windows,macOS,linux
https://ollama.com/download

LM Studio
支持windows,macOS,linux
下载模型时会遭遇失败,需要HF的代理
https://lmstudio.ai/

GPT4ALL
GPT4All 是一个开源平台,旨在提供本地化的语言模型解决方案,使用户能够在本地计算机上运行和部署强大的语言模型。其主要功能包括支持聊天机器人、文本生成、问答系统和其他基于自然语言处理的应用。支持CPU和GPU的本地推理能力。
支持windows,macOS,linux
https://www.nomic.ai/gpt4all

===========

Ollama 本地部署大模型

Ollama是一个开源的大型语言模型部署工具,它可以帮助用户快速在本地部署运行大模型。类似于Docker一样,仅仅用几行命令就可以运行一个大模型。

https://ollama.com/
官网直接下载安装:Download Ollama
默认会安装在C盘,占用3G左右空间
C:\Users\c1g\AppData\Local\Programs

修改ollama安装目录

通常情况下,我们不希望安装到C盘,此时我们就可以通过使用命令的方式将Ollama安装到其他盘。

以管理员身份运行CMD,并定位到OllamaSetup.exe所在的目录(假设OllamaSetup.exe在D:\download目录下),然后执行如下命令:
OllamaSetup.exe /DIR="D:\software\Ollama"

环境配置

关于->高级系统设置->环境变量
配置Ollama模型文件地址
由于Ollama在下载模型时,会自动下载到C盘,因此需要设置下载目录。方法如下:
在环境变量中添加“OLLAMA_MODELS”,之后重启ollama,我把下载模型的目录设置在了"D:\ai\ollama"目录下。

1.下载地址
OLLAMA_MODELS
D:\ai\ollama_models

2.监听地址和端口
OLLAMA_HOST
0.0.0.0:3001

3.跨域
OLLAMA_ORIGINS
*

运行ollama后,桌面右下角就出出来一个羊驼图标,右键"view logs",就可以看一些运行信息.

routes.go:1125: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_HOST:http://0.0.0.0:3001 OLLAMA_INTEL_GPU:false 

Ollama使用帮助

使用win健+R,打开cmd命令
ollama -h

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

Ollama 常用命令

ollama serve         #启动ollama  
ollama create        #从模型文件创建模型  
ollama show          #显示模型信息  
ollama run           #运行模型  
ollama pull          #从注册表中拉取模型  
ollama push          #将模型推送到注册表  
ollama list          #列出模型  
ollama cp            #复制模型  
ollama rm            #删除模型  
ollama help          #获取有关任何命令的帮助信息

启动ollama后查看
http://localhost:3001/
Ollama is running

开启windows防火墙
windows defender
新建入站规则,端口tcp:3001,允许连接
http://192.168.244.1:3001

模型仓库下载地址
https://ollama.com/library

模型介绍

在使用 Ollama 部署 DeepSeek R1 系列模型时,硬件需求主要取决于模型的大小(参数量)。模型越大,对计算资源(如 GPU 显存、CPU 和内存)的要求越高。以下是 DeepSeek R1 系列模型对硬件的要求概览:

GPU 需求
1.5B 和 7B 模型:可以在消费级 GPU 上运行,例如 NVIDIA GTX 1660、RTX 3060(8-12 GB 显存)。
8B 和 14B 模型:需要高端 GPU,例如 NVIDIA RTX 3090、A100(16-24 GB 显存)。
32B 和 70B 模型:需要专业级 GPU,例如 NVIDIA A100、H100(32 GB+ 显存)。
671B 模型:需要多 GPU 并行计算,例如多张 A100 或 H100。
CPU 和内存需求
1.5B 和 7B 模型:8-16 GB 内存,普通多核 CPU(如 Intel i5 或 Ryzen 5)。
8B 和 14B 模型:16-32 GB 内存,高性能多核 CPU(如 Intel i7 或 Ryzen 7)。
32B 和 70B 模型:64-128 GB 内存,服务器级 CPU(如 Intel Xeon 或 AMD EPYC)。
671B 模型:256 GB+ 内存,多路服务器级 CPU。

Llama
Meta产品Llama 3.1
包含8B、70B 和405B三个规模,最大上下文提升到了128k,Llama目前开源领域中用户最多、性能最强的大型模型系列之一
Llama 3.1 8B 128k 4.7GB
ollama pull llama3.1

llama3.3 70b 80G
ollama pull llama3.3

Google Gemma2
谷歌明星开源模型Gemma 2
Gemma 2有90亿(9B)和270亿(27B)两种参数规模可用
Gemma2 9B 8k 5.4GB
ollama pull gemma2:9b

Alibaba qwen2
阿里云发布开源模型通义千问2,Qwen2-7B比Llama3-8B快
Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B
qwen2 7B 128K 4.4GB
ollama pull qwen2:7b

qwen2.5 7B 4.7GB
ollama pull qwen2.5

代码模型列表,以7B为主
deepseek coder 7B
CodeGemma 7B
StarCode2 7B
Code Llama 7B

CodeGemma
CodeGemma模型保留了基础Gemma模型的自然语言处理能力。
CodeGemma支持包括 Python、JavaScript、Java、Kotlin、C++、C#、Rust、Go 在内的多种编程语言。
专注于代码生成、理解、补全、数学推理和指令遵循等任务,性能优越,适用于多种场景,将为开发者带来全新编程体验。
CodeGemma7B 8K 5.0GB
ollama pull codegemma:7b

deepseek-coder-v2 16b 8.9GB
没有更小的

starcoder2
starcoder2 7B 4.0GB
starcoder2 3B 1.7GB

llama2-chinese
Llama 2 对话中文微调参数模型
这个模型是基于 Meta Platform, Inc. 所发布的 Llama 2 Chat 开源模型来进行微调
llama2-chinese 7b 3.8GB

deepseek
deepseek-v3 通用基础模型,堪比业内顶尖模型如GPT-4、Claude-3.5等
deepseek-r1 深度推理模型,专门用来解决那些需要复杂推理和深度思考的问题。它处理的任务更具挑战性,比如数理逻辑推理、编程代码分析等
deepseek 1.5b 1.1GB
deepseek 7b 4.7GB
deepseek 32b 20GB
deepseek 671b 404GB
ollama pull deepseek-r1:7b

部署模型示例

ollama run llama3.1
ollama run gemma2:9b
ollama run qwen2:0.5b

运行的模型列表

ollama list

拉取deepseek-r1:7b模型

ollama pull deepseek-r1:7b

pulling manifest
pulling 96c415656d37... 100% ▕████████████████████████████████████████████████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏  148 B
pulling 40fb844194b2...   0% ▕                                                        ▏    0 B/ 487 B
verifying sha256 digest
writing manifest
success

运行deepseek-r1:7b

ollama run deepseek-r1:7b

>>> Send a message (/? for help)
>>> hello
<think>

</think>

Hello! How can I assist you today? 😊

>>> 你好
<think>
Alright, the user greeted me with "你好," which means "hello" in Chinese. I should respond politely.

I want to make sure my reply is friendly and clear.

Maybe say something like, "你好!有什么我可以帮助你的吗?" which means "Hello! Is there anything I can help you
with?"

That sounds good! 😊
</think>

你好!有什么我可以帮助你的吗?

>>> Send a message (/? for help)

如果我们想退出对话,我们可以通过/bye命令退出

使用API访问模型

Ollama有一套用于运行和管理模型的 REST API。
Generate a response
curl http://localhost:3001/api/generate -d ‘{
"model": "llama3.1:latest",
"prompt":"Why is the sky blue?"
}’

curl http://localhost:3001/api/generate -d ‘{
"model": "llama3.1:latest",
"prompt": "写一首关于夏天的打油诗",
"format": "json",
"stream": false
}’
更多API可以参考:
https://github.com/ollama/ollama/blob/main/docs/api.md

客户端交互工具

虽然我们可以通过CMD窗口进行对话,但是相对不那么直观,于是我们可以通过第三方Web UI来实现对话效果。
支持windows的客户端工具
可以使用

浏览器插件

支持多人的webui

docker安装UI

  • Dify
  • open-WebUI

Chrome插件-Chat with Ollama

我们通过谷歌浏览器官方插件地址搜索Chat with Ollama

安装完成后在Hostname输入本地地址:http://localhost:3001,选择Model,保存后可以开始对话

Chrome插件-Page Assist

我们通过谷歌浏览器官方插件地址搜索Page Assist

新增至 Chrome
在设署选项中->ollama设置->Ollama URL:http://127.0.0.1:3001
保存完后就可以看到上方有可用的模型,选择模型后就可以使用.


第三方网站chatboxai

直接访问 https://web.chatboxai.app/
打开后界面中间会有一个弹出框,直接选择"local model",或者点击左下角的settings.

先在DISPLAY中设置语言为"简体中文",

在MODEL中设置API:http://127.0.0.1:3001,模型中选择已有模型”deepseek-r1:7b”.最后保存.

如果无法连接可以修改 WINDOWS 用户环境变量中

OLLAMA_HOST       0.0.0.0    --任何IP都可以访问
OLLAMA_ORIGINS    *

配置好环境变量后,重启下Ollama.

接下来我们就可以愉快的对话了.

Posted in AI.

Tagged with , , , .


硅基流动(SiliconCloud)API结合Chathub插件/Cherry Studio桌面免费访问deepseek API

deepseek

使用网页版时为经常遇到"服务器繁忙"
Deepseek的API也已暂停赠送和充值服务。

其它的解决办法:

  • 本地部署
  • 使用第三方平台嵌入(如秘塔Ai,千帆大模型,纳米Ai等,硅基流动,火山引擎)

本地部署满血版【不现实】,对电脑要求太高!
32B版本 需要16核以上(如AMD Ryzen 9或Intel i9) 64GB+ 30GB+ 24GB+显存(如A100 40GB或双卡RTX 3090)

这里介绍使用硅基流动的三方平台

硅基流动 是一家专注于大规模AI计算的技术公司,由清华大学高性能计算研究所孙广宇教授团队创立。公司核心团队来自清华大学、MIT等顶尖高校,在高性能计算和AI系统方面有深厚的技术积累。

硅基流动的主要产品和服务包括:

  • SiliconLLM: 高性能LLM推理引擎,支持各种主流大语言模型的高效部署。
  • SiliconCloud: 一站式AI云计算平台,提供LLM训练推理等服务。
  • OneDiff: 开源的AI编译框架,可自动优化AI模型性能。

公司的核心优势在于深厚的系统优化技术,能够大幅提升AI模型的计算效率,帮助企业降低AI部署成本。目标市场主要面向有大规模AI计算需求的企业客户。

一句话介绍:是集成多家大模型的管理平台,是一个支持多种大模型的 api接口管理 & 分发系统,类似于 One-API

模型广场 [url]: https://cloud.siliconflow.cn/models
热门模型:

  • deepseek-ai/DeepSeek-R1
  • deepseek-ai/DeepSeek-V3
  • meta-llama/Llama-3.3-70B-Instruct
  • Qwen/QwQ-32B-Preview

免费使用:

  • deepseek-ai/DeepSeek-R1-Distill-Llama-8B
  • Qwen/Qwen2.5-7B-Instruct
  • stabilityai/stable-diffusion-xl-base-1.0
  • stabilityai/stable-diffusion-3-5-large

如果注册的时候如果填写我的邀请码,我和你都会拿到14块的免费额度,使用DeepSeek-R1也可以消耗它,够用好久了。(不能提现盈利哦)

官网链接:[url]: https://siliconflow.cn/zh-cn/

我的邀请链接:[url]: https://cloud.siliconflow.cn/i/LNzlifKw
我的邀请码:LNzlifKw
也可以扫描下面二维码:

SiliconCloud 邀请奖励持续进行,2000 万 Tokens 送不停!

  1. 邀请好友赚 2000 万 Tokens:每成功邀请一位新用户通过手机号码注册,您将获得 2000 万 Tokens;
  2. 注册即送 2000 万 Tokens:受邀好友作为新用户完成 SiliconCloud 账号注册,立刻获得 2000万 Tokens。
    特别说明
    平台 2000 万 Tokens 特指 Qwen2.5-14B-Instruct 模型单价下的数量,实际到账为 14 元平台配额;
    奖励 Tokens 对应的平台配额资金仅限于 SiliconCloud 平台使用,不可提现;

注册后已经可以在web上选模型使用了

可以在活动中心,我的邀请链接中获得自已的邀请码。

成功登录后的页面大致长这样,最显眼的位置就是我们要找的DeepSeek-R1,其他模型的关注度都不如671B满血版的R1。

注册好账号之后登录,下图所示,在左边找到“API密钥”并点击进入,然后在右上角点“新建 API密钥”。

弹出来的对话框中输入密钥描述,如chatbox,然后点“新建密钥”。这个描述是方便你自己识别用的,所以名称可随便,比如家里电脑、chathub、VScode、cherry studio等都可以。

密钥创建好之后,或弹出密钥,我们复制,这个密钥,你也可以通过下图所示的方式复制已经创建好的密钥。我们先复制这个密钥,后面备用。

==========

在浏览器插件 ChatHub 中使用

使用浏览器插件是最方便的,也省去了登录的麻烦。

关于 ChatHub

ChatHub 是一个流行的大语言模型聚合插件,特点是可以同时和多个模型聊天,方便对比回答。ChatHub 在全球拥有数十万活跃用户。

安装 ChatHub

浏览器打开 ChatHub 官网,点击“新增至Chrome”按钮安装 ChatHub 浏览器插件:

安装后,将自动打开 ChatHub 设置页面.

在ChatHub中使用SiliconCloud模型

1、在 ChatHub 设置中找到“自定义机器人”模块,点击“添加”按钮

2、在弹窗中,依次:

输入机器人名称:SiliconCloud
选择 SiliconFlow 作为提供方:
https://api.siliconflow.cn/
输入 SiliconFlow 密钥 :
填写 SiliconFlow 支持的任何模型 : Qwen/Qwen2.5-7B-Instruct

3、点击“确认”后模型即配置成功
4、开始聊天

===========

使用Cherry Studio 桌面客户端调用硅基流动API的方法

Cherry Studio 是一款支持多模型服务的桌面客户端,内置了超过 30 个行业的智能助手,旨在帮助用户在多种场景下提升工作效率。它适用于 Windows、Mac 和 Linux 系统,无需复杂设置即可使用。
🚀 Cherry Studio 集成了主流的 LLM 云服务和 AI Web 服务,同时支持本地模型运行。
🌟 Cherry Studio 提供了诸如完整的 Markdown 渲染、智能体创建、翻译功能、文件上传和多模态对话等个性化功能,并具有友好的界面设计和灵活的主题选项,旨在为用户提供全面而高效的 AI 交互体验。

第一步:在官网下载cherry studio [url]: https://cherry-ai.com/
开源下载 [url]: https://github.com/kangfenmao/cherry-studio/releases/latest

第二步:登录SiliconCloud(若未注册首次登录会自动注册账号)
第三步:在账户管理下选择API密钥,选择新建API密钥,密钥描述随意填写
第四步:复制密钥后续要用
第五步:打开cherry studio,选择左下角齿轮进入设置界面
第六步:在硅基流动界面中,粘贴API密钥,单击下绿色管理按钮
第七步:选择deep seek-ai/deep seek-R1 模型,这个目前最智能最厉害
第八步:在界面中最上方选择R1模型
完成上述操作后,就可以在对话框中愉快的和deep seek互动了!

Posted in AI.

Tagged with , , , , .


Windows Server远程桌面授权服务远程代码执行漏洞(CVE-2024-38077)

漏洞详情:
近期微软披露最新的远程代码执行超高危漏洞CVE-2024-38077, CVSS评分高达9.8 ,可导致开启了远程桌面许可服务的Windwos服务器完全沦陷。漏洞影响Windows Server 2000到Windows Server 2025所有版本,已存在近30年。该漏洞可稳定利用、可远控、可勒索、可蠕虫等,破坏力极大,攻击者无须任何权限即可实现远程代码执行。这一漏洞存在于Windows远程桌面许可管理服务(RDL)中,该服务被广泛部署于开启Windows远程桌面(3389端口)的服务器,用于管理远程桌面连接许可。攻击者无需任何前置条件,无需用户交互(零点击)便可直接获取服务器最高权限,执行任意操作。 一旦漏洞被恶意攻击者或APT组织利用,将快速蔓延,或波及全球所有使用微软服务器的用户。这是自“永恒之蓝”后,Windows首次出现影响全版本且能高稳定利用的认证前RCE漏洞。
目前网络已有POC流出,建议尽快通过官网公告更新安全补丁。

影响范围:
开启Windows Remote Desktop Licensing(RDL)Service 的Windows服务器

影响版本:
Windows Server 2000 – Windows Server 2025

利用条件:
1、用户认证:不需要用户认证
2、前置条件:开启了Windows Remote Desktop Licensing (RDL) 服务
3、触发方式:远程

综合评价:
利用难度:容易
威胁等级:严重

修复方式:
1.安装补丁https://msrc.microsoft.com/update-guide/vulnerability/CVE-2024-38077
2.对于无法安装补丁的情况,微软建议采取以下缓解措施:如非必要,关闭Remote Desktop Licensing服务。注意:此操作将影响远程桌面授权认证和分发,可能导致远程桌面出现问题影响正常业务或降低远程桌面安全性。同时,微软公告中提出:即便采取了上述缓解措施,微软仍强烈建议尽快修复漏洞以全面防护系统。

参考:
https://baijiahao.baidu.com/s?id=1806872084343223859&wfr=spider&for=pc

Posted in 安全通告.

Tagged with , .


经典输入法绕过再现,搜狗输入法可绕过windows锁屏机制

win10等绕过成功
通过切换到搜狗输入法,使用"游戏中心"进行提权。

Posted in 安全通告.

Tagged with .


Windows Wi-Fi驱动程序远程代码执行漏洞(CVE-2024-30078) Windows所有支持版本受到威胁

一、 基本情况
Windows Wi-Fi 驱动程序是Windows系统的重要固件之一。

二、 漏洞描述
Windows Wi-Fi 驱动程序中存在输入验证不当漏洞,未经身份验证的攻击者可以向使用Wi-Fi网络适配器的相邻系统/设备发送恶意网络数据包,导致在无需用户交互的情况下实现远程代码执行。利用该漏洞需要靠近目标系统来发送和接收无线电传输。

三、 影响范围
受影响系统及版本

平台

受影响的微软驱动程序版本

Windows 10 Version 1809

32-bit Systems

x64-based Systems

ARM64-based Systems

10.0.0 – 10.0.17763.5936之前

Windows Server 2019

x64-based Systems

10.0.0 – 10.0.17763.5936之前

Windows Server 2019 (Server Core installation)

x64-based Systems

10.0.0 – 10.0.17763.5936之前

Windows Server 2022

x64-based Systems

10.0.0 -10.0.20348.2527之前

10.0.0 – 10.0.20348.2522之前

Windows 11 version 21H2

x64-based Systems

ARM64-based Systems

10.0.0 – 10.0.22000.3019之前

Windows 10 Version 21H2

32-bit Systems

ARM64-based Systems

(x64-based Systems)

10.0.0 – 10.0.19043.4529之前

Windows 11 version 22H2

ARM64-based Systems

x64-based Systems

10.0.0 – 10.0.22621.3737之前

Windows 10 Version 22H2

x64-based Systems

ARM64-based Systems

32-bit Systems

10.0.0 – 10.0.19043.4529之前

Windows 11 version 22H3

ARM64-based Systems

10.0.0 – 10.0.22631.3737之前

Windows 11 Version 23H2

x64-based Systems

10.0.0 – 10.0.22631.3737之前

Windows Server 2022、23H2 Edition (Server Core installation)

x64-based Systems

10.0.0 – 10.0.25398.950之前

Windows 10 Version 1507

32-bit Systems

x64-based Systems

10.0.0 – 10.0.10240.20680之前

Windows 10 Version 1607

32-bit Systems

x64-based Systems

10.0.0 – 10.0.14393.7070之前

Windows Server 2016

x64-based Systems

10.0.0 – 10.0.14393.7070之前

Windows Server 2016 (Server Core installation)

x64-based Systems

10.0.0 -10.0.14393.7070之前

Windows Server 2008 Service Pack 2

32-bit Systems

6.0.0 – 6.0.6003.22720之前

Windows Server 2008 Service Pack 2 (Server Core installation)

32-bit Systems

x64-based Systems

6.0.0 – 6.0.6003.22720之前

Windows Server 2008 Service Pack 2

x64-based Systems

6.0.0 – 6.0.6003.22720之前

Windows Server 2008 R2 Service Pack 1

x64-based Systems

6.1.0 – 6.1.7601.27170之前

Windows Server 2008 R2 Service Pack 1 (Server Core installation)

x64-based Systems

6.0.0 – 6.1.7601.27170之前

Windows Server 2012

x64-based Systems

6.2.0 – 6.2.9200.24919之前

Windows Server 2012 (Server Core installation)

x64-based Systems

6.2.0 – 6.2.9200.24919之前

Windows Server 2012 R2

x64-based Systems

6.3.0 – 6.3.9600.22023之前

Windows Server 2012 R2 (Server Core installation)

x64-based Systems

6.3.0 – 6.3.9600.22023之前

四、 修复建议
微软已在6月补丁日中发布了该漏洞的安全更新,建议受影响用户及时安装补丁修复该漏洞。可以自动更新或者在Microsoft官方下载相应补丁进行更新。

下载链接:

https://msrc.microsoft.com/update-guide/en-US/advisory/CVE-2024-30078

五、 参考链接
https://msrc.microsoft.com/update-guide/en-US/advisory/CVE-2024-30078

https://www.cve.org/CVERecord?id=CVE-2024-30078

Posted in 安全通告.

Tagged with , .