张量逻辑-人工智能的语言

张量逻辑：

人工智能的语言当田野找到自己的语言时，它们便会腾飞。物理学：微积分电气工程：复数数字电路：布尔逻辑芯片设计：HDL网络：互联网协议网页：HTML数据库：关系代数计算机科学：高级语言ETC。一个领域的语言能做什么节省时间把关键事情说清楚集中注意力降低熵避免被黑客攻击联合领域改变人们的思维方式人工智能找到自己的语言了吗？LISP，Prolog？图形模型？马尔可夫逻辑网络？Python？NumPy、PyTorch、TensorFlow、Keras、JAX等？神经符号人工智能？人工智能语言应该做什么？隐藏所有非人工智能相关的东西。轻松融入知识自动推理自动学习使模型透明确保可靠性轻松扩展人工智能语言应该做什么？隐藏所有非人工智能相关的东西。轻松融入知识自动推理自动学习使模型透明确保可靠性轻松扩展符号人工智能深度学习张量逻辑=张量代数+逻辑编程符号人工智能深度学习逻辑编程逻辑程序=规则+事实事实：

关系（对象1，...，对象k）

例如：Parent(Bob,Chris)，Ancestor(Alice,Bob)规则：头部：-身体

或者：结果：-前件1，…，前件n例如：Ancestor(x,y):-Parent(x,y)

Ancestor(x,z):-Ancestor(x,y),Parent(y,z)Prolog：参数可以是常量、变量或函数数据日志：无函数在数据库术语中，规则是一系列连接操作，最后以投影操作结束。关系R和S的连接是所有由R和S中具有相同参数值的元组构成的元组的集合。例如：关系R在其参数子集G上的投影，是指舍弃R中所有不在G中的参数后得到的关系。

例如：数据库视图x是爱丽丝鲍勃爱丽丝艾德是z鲍勃克里斯鲍勃担x是z爱丽丝鲍勃克里斯爱丽丝鲍勃担x是z爱丽丝鲍勃克里斯爱丽丝鲍勃担xz爱丽丝克里斯爱丽丝担x，z逻辑编程中的推理正向推理：

反复应用所有规则，直到无法推断出新的事实为止。反向链接：

给定查询，检查它是否为事实。

如果不是，则查找头部等于查询的规则，并对其主体重复此操作。例如：查询：祖先(Alice,Chris)？

答案：是例如查询：祖先(Alice,x)？

答案：{Bob,Chris}归纳逻辑编程输入：数据库输出：逻辑程序逆向推理：哪些规则允许从证据中推断出目标谓词？搜索：贪婪、光束等。目标：准确性、信息获取、简便性等。先验知识很容易融入教学。声明性偏见：规则等的预定义形式。谓词发明：发现隐藏的关系张量代数

爱因斯坦求和（Einsum）

张量分解

TS核张量因素矩阵数据张量第一要点问：张量和关系之间有什么关系？答：关系是稀疏布尔张量的紧凑表示。0100001100000000爱丽丝鲍勃克里斯担爱丽丝鲍勃克里斯担爱丽丝鲍勃鲍勃克里斯鲍勃担第二要点问：规则和等效总和之间有什么关系？A：规则是布尔张量的指数和，

非线性部分为阶跃函数。阿姨(x,z):-姐姐(x,y)

Parent(y,z)Aunt[x,z]=step(Sister[x,y]

Parent[y,z])序言艾因苏姆张量逻辑

张量逻辑

张量0

=f(张量1…张量n)糖苷一个方程中的多个项：Y=step(W[i]

X[i]

+

C)索引函数：X[i,t+1]=W[i,j]

X[j,t]归一化：Y[i]=softmax(X[i])其他张量函数：Y[k]=concat(X[i,j])其他聚合方式：+=、max=、avg=程序附件Prolog语法ETC。张量逻辑中的神经网络感知器（完整程序）：Y=step(W[i]

X[i])W=[0.2,

1.9，

-0.7，

3]X=[0,

1、

1、

0]（或：X(1)，

X(2))是吗？多层感知器：

X[i,j]=sig(W[i,j,k]

X[i-1,k])循环神经网络：

X[i,t+1]=sig(W[i,j]

X[j,t]

+

V[i,j]

U[j,t])张量逻辑是图灵完备的循环神经网络是图灵完备的（Siegelmann&Sontag，1995）。循环神经网络可以用张量逻辑实现。因此，张量逻辑是图灵完备的。但Datalog并非如此。柯尔莫哥洛夫-阿诺德表示定理：

任何多元函数都可以表示为若干个一元函数的和。Prolog将函数放在谓词内部，

而张量逻辑则将它们放在谓词外部。推理正向链接（参见Datalog、Rete）：将程序视为线性代码在每个步骤中，计算输入可用的张量元素。重复此过程，直到无法计算出新的元素为止。反向链接（参见Prolog）：将每个张量方程视为一个函数查询是顶级调用递归直到查询得到答案最佳选择取决于具体应用。学习

张量逻辑中的卷积神经网络卷积层：特征[x,y]=relu(过滤器[dx,dy,ch]

图像[x+dx,y+dy,ch])求和池化层：Pooled[x/S,y/S]=Features[x,y]张量逻辑中的图神经网络图：Neig(Alice,Bob),

Neig（Bob，Chris）等。初始化：Emb[n,0,d]=X[n,d]（节点，层，维度）MLP：Z[n,l,d']=relu(WP[l,d',d]Emb[n,l,d])等聚合：Agg[n,l,d]=Neig(n,n')Z[n',l,d']更新：Emb[n,l+1,d]=relu(WAgg

聚合[,l,d]

+

自​

Z[n,l,d])节点分类：Y[n]=sig(WOut[d]

With[n,L,d])边缘预测：Y[n,n']=sig(Emb[n,L,d]

With[n',L,d])图分类：Y=sig(WOut[d]

With[n,L,d])张量逻辑中的注意力机制查询[p,dk]=WQ[dk,d]

X[p,d]Key[p,dk]=WK[dk,d]

X[p,d]Val[p,dv]=WV[dv,d]

X[p,d]Comp[p,p'.]=softmax(Query[p,dk]

Key[p',dk]

/

sqrt(Dk))Attn[p,dv]=Comp[p,p']

Val[p',dv]张量逻辑中的转换器输入：X(p,t)嵌入：XE[p,d]=X(p,t)

Emb[t,d]位置编码：

PE[p,d]=Even(d)

sin(p

/

(L^(d/De)))

+

奇数(d)

cos(p

/

(L^((d-1)/De)))残差流：Stream[0,p,d]=XE[p,d]

+

PE[p,d]注意力：

查询[b,h,p,dk]=WQ[b,h,dk,d]

Stream[b,p,d]等。

Comp[b,h,p,p'.]=softmax(Query[b,h,p,dk]

Key[b,h,p',dk]

/

sqrt(Dk))

Attn[b,h,p,dv]=Comp[b,h,p,p']

Val[b,h,p',dv]合并和图层归一化：

Merge[b,p,dm]=concat(Attn[b,h,p,dv])

Stream[b,p,d.]=norm(WS[b,d,dm]

合并[b,p,dm]

+

Stream[b,p,d])MLP:MLP[b,p,d']=relu(WP[b,p,d',d]

Stream[b,p,d])等。输出：Y[p,t.]=softmax(WO[t,d]

Stream[B,p,d])张量逻辑中的符号人工智能直接用Prolog写就行了。嵌入式数据库嵌入对象：Emb[obj,dim]嵌入关系：EmbRel[i,j]=Rel(x,y)

Emb[i,x]

Emb[j,y]这是关系的塔克分解EmbRel是Rel的核心张量可以在O(元组数)时间内构建关系符号也可以嵌入其中。具体化数据库：DB(r,x,y)嵌入式数据库：

EmbDB[h,i,j]=DB(r,x,y)

Emb[h,r]

Emb[i,x]

Emb[j,y]要嵌入一条规则，请将前件和后件替换为它们的嵌入形式：

EmbCons[…]=EmbAnt1[…]

EmbAnt2[…]

...

EmbAntn[…]所有推理都可以在嵌入空间中完成：嵌入查询和证据运用嵌入式规则进行推理提取答案之所以有效，是因为einsum因子满足交换律和结合律：(Rel(x,y)

Emb[i,x]

Emb[j,y])

Emb[i,x']

Emb[j,y']≈Rel(x',y')等。结合了符号推理和类比推理。嵌入是随机单位向量。两个对象的相似度=它们嵌入的点积透明可靠嵌入式知识库和推理张量逻辑中的内核机器内核机器：Y[Q]=f(A[i]

Y[i]

K[Q,i]

+

B)多项式核：K[i,i']=(X[i,j]

X[i',j])^n高斯核：K[i,i']=exp(-(X[i,j]

-

X[i',j])^2/Var)结构化预测：Y[Q,n]张量逻辑中的图形模型

图形模型张量逻辑潜在的张量边缘化投影点式产品加入加入树树状程序Pr(查询|证据)Prog(Q,E)/Prog(E)超越人工智能科学：张量逻辑最大限度地缩短了方程式到代码的距离科学计算是用逻辑封装的张量运算。为了使逻辑可学习，请使用张量逻辑。要让任何事物都可学习，就用张量逻辑来编写它。扩大规模方案一：关注点分离稠密子张量：GPU稀疏子张量：数据库查询引擎等。方案二：全部在GPU上通过Tucker分解实现效