NLP技术岗位编程题与代码能力考察题集

NLP技术岗位编程题与代码能力考察题集题型一：分词与词性标注（共3题，每题10分）1.中文分词算法实现题目：请用Python实现基于最大匹配算法的中文分词函数，输入一段文本，输出按词序列分割的结果。假设词典中已包含以下词语：["我们","是","人工智能","工程师","在","北京","工作"]。要求：-采用正向最大匹配，从字符串开头开始匹配最长的词。-若词典中无匹配词，则将剩余部分作为单独一个词输出。示例输入："我们人工智能工程师在北京工作"示例输出：["我们","人工智能","工程师","在","北京","工作"]2.词性标注任务题目：给定一段文本及对应的词表，请实现基于规则或简单统计的词性标注（如名词、动词、形容词）。假设词表及标注规则如下：-词典：["我们","是","人工智能","发展","快速"]-规则：-以"人"结尾的词标注为"NN"（名词）-以"化"结尾的词标注为"V"（动词）-其他默认为"JJ"（形容词）示例输入："我们人工智能快速发展"示例输出：[("我们","NN"),("是","JJ"),("人工智能","NN"),("发展","V"),("快速","JJ")]3.停用词过滤题目：请实现中文文本的停用词过滤功能。给定以下停用词列表：["是","在","的"]，输入文本为"我们是在北京"，输出过滤后的分词结果。示例输出：["我们","北京"]题型二：命名实体识别（NER）（共2题，每题15分）1.NER规则匹配实现题目：请用Python实现基于规则或正则表达式的命名实体识别函数。输入文本包含以下实体：-人名：张三、李四-地名：北京、上海-组织名：清华大学示例输入："张三和李四来自北京和上海，毕业于清华大学"示例输出：[("张三","PERSON"),("李四","PERSON"),("北京","LOC"),("上海","LOC"),("清华大学","ORG")]2.BIO标注方案应用题目：请实现基于BIO（Begin,Inside,Outside）标注的NER系统。输入文本及实体词典如下：-文本："国家主席习近平在上海出席会议"-词典：["习近平","上海","会议"]示例输出：[("国家","O"),("主席","O"),("习近平","B-PER"),("在上海","O"),("出席","O"),("会议","B-LOC")]题型三：文本分类（共2题，每题15分）1.简单分类器实现题目：请用Python实现基于词频（TF）的简单文本分类器。输入文本及类别标签如下：-文本1："人工智能是未来的趋势"→类别：科技-文本2："今天天气很好"→类别：生活-文本3："科技发展迅速"→类别：科技示例输入："人工智能和科技改变世界"示例输出："科技"（根据词频统计，"科技"出现2次，"人工智能"1次）2.感情倾向分类题目：请实现基于情感词典的文本情感分类（正面/负面）。给定以下词典：-正面词：["好","喜欢","优秀"]-负面词：["差","讨厌","失败"]示例输入："这部电影很好看，我非常喜欢"示例输出："正面"（正面词出现2次，无负面词）题型四：文本相似度计算（共2题，每题15分）1.余弦相似度实现题目：请用Python实现基于TF-IDF向量的余弦相似度计算。输入两段文本：-文本A："人工智能技术正在快速发展"-文本B："科技发展推动人工智能进步"示例输出：相似度分数（需计算TF-IDF向量后计算余弦相似度）2.Jaccard相似度计算题目：请实现基于词集合的Jaccard相似度计算。输入两段文本：-文本A："我们喜欢篮球足球"-文本B："我们喜欢足球篮球"示例输出：1.0（两个词集合相同）题型五：文本生成与摘要（共2题，每题15分）1.简单文本摘要题目：请实现基于词频的简单文本摘要（截取前3个句子）。输入文本："今天天气很好，很多人出门旅游。人工智能发展迅速，吸引了大量关注。北京和上海是中国的两个大城市。"示例输出："今天天气很好，很多人出门旅游。人工智能发展迅速，吸引了大量关注。"2.回译任务题目：请实现中英回译任务。输入中文文本："机器学习正在改变世界"，先用翻译API（假设已实现）翻译为英文："Machinelearningischangingtheworld"，再翻译回中文。输出回译结果。示例输出："机器学习正在改变世界"（需考虑翻译误差，允许少量偏差）答案与解析题型一：分词与词性标注1.中文分词算法实现答案：pythondefmax_match_segment(text,dic):max_len=max(len(word)forwordindic)start=0result=[]whilestart<len(text):matched=Falseforendinrange(min(start+max_len,len(text)),start,-1):word=text[start:end]ifwordindic:result.append(word)start=endmatched=Truebreakifnotmatched:result.append(text[start])start+=1returnresult示例dic=["我们","是","人工智能","工程师","在","北京","工作"]text="我们人工智能工程师在北京工作"print(max_match_segment(text,dic))解析：-从左到右逐词匹配最长词，若词典无匹配则拆分为单字。-优先匹配更长的词（如"人工智能"而非"我们"），避免歧义。2.词性标注任务答案：pythondefpos_tagging(text,dic):result=[]forwordintext.split():ifword.endswith("人"):result.append((word,"NN"))elifword.endswith("化"):result.append((word,"V"))else:result.append((word,"JJ"))returnresult示例dic=["我们","是","人工智能","发展","快速"]text="我们人工智能快速发展"print(pos_tagging(text,dic))解析：-规则简单暴力，实际NER需更复杂的模型（如BiLSTM-CRF）。3.停用词过滤答案：pythondefstopword_filter(text,stopwords):return[wordforwordintext.split()ifwordnotinstopwords]示例stopwords=["是","在","的"]text="我们是在北京"print(stopword_filter(text,stopwords))解析：-停用词过滤是文本预处理常见步骤，可提升模型效率。题型二：命名实体识别（NER）1.NER规则匹配实现答案：pythondefner_rule(text):entities={"张三":"PERSON","李四":"PERSON","北京":"LOC","上海":"LOC","清华大学":"ORG"}result=[]i=0whilei<len(text):matched=Falseforentity,labelinentities.items():iftext.startswith(entity,i):result.append((entity,label))i+=len(entity)matched=Truebreakifnotmatched:i+=1returnresult示例text="张三和李四来自北京和上海，毕业于清华大学"print(ner_rule(text))解析：-顺序匹配词典中的实体，避免漏检。实际NER需更鲁棒的匹配策略。2.BIO标注方案应用答案：pythondefbio_tagging(text,entities):tokens=text.split()result=[]i=0whilei<len(tokens):matched=Falseforentityinentities:iftokens[i:i+len(entity.split())]==entity.split():result.append((tokens[i],f"B-{entity}"))i+=len(entity.split())matched=Truebreakifnotmatched:result.append((tokens[i],"O"))i+=1returnresult示例text="国家主席习近平在上海出席会议"entities=["习近平","上海","会议"]print(bio_tagging(text,entities))解析：-BIO标注需考虑实体边界（如"习近平"整体标注为PER）。题型三：文本分类1.简单分类器实现答案：pythondefsimple_classifier(text,categories):freq={cat:0forcatincategories}tokens=text.split()fortokenintokens:forcatincategories:iftokenincat:freq[cat]+=1returnmax(freq,key=freq.get)示例categories=["科技","生活"]text="人工智能和科技改变世界"print(simple_classifier(text,categories))解析：-基于词频简单统计，忽略语义关联（实际需模型学习）。2.感情倾向分类答案：pythondefsentiment_classification(text,pos_dict,neg_dict):pos_count=sum(1forwordintext.split()ifwordinpos_dict)neg_count=sum(1forwordintext.split()ifwordinneg_dict)return"正面"ifpos_count>neg_countelse"负面"示例pos_dict={"好","喜欢","优秀"}neg_dict={"差","讨厌","失败"}text="这部电影很好看，我非常喜欢"print(sentiment_classification(text,pos_dict,neg_dict))解析：-感情分类需更复杂的词典或模型（如BERT）。题型四：文本相似度计算1.余弦相似度实现答案：pythonfromsklearn.feature_extraction.textimportTfidfVectorizerfromsklearn.metrics.pairwiseimportcosine_similaritydefcosine_similarity_text(text1,text2):vectorizer=TfidfVectorizer().fit_transform([text1,text2])returncosine_similarity(vectorizer[0:1],vectorizer[1:2])[0][0]示例text1="人工智能技术正在快速发展"text2="科技发展推动人工智能进步"print(cosine_similarity_text(text1,text2))解析：-TF-IDF向量化后计算余弦相似度，适用于短文本。2.Jaccard相似度计算答案：pythondefjaccard_similarity(text1,text2):set1=set(text1.split())set2=set(text2.split())returnlen(set1&set2)/len(set1|set2)示例text1="我们喜欢篮球足球"text2="我们喜欢足球篮球"print(jaccard_similarity(text1,text2))解析：-Jaccard适用于词集合相似度，简单高效。题型五：文本生成与摘要1.简单文本摘要答案：pythondefsimple_summary(text,top_n=3):sentences=text.split("。")return"。".join(sentences[:top_n])示例text="今天天气很好，很多人出门旅游。人工智能发展迅速，吸引了大量关注。北京和上海是中国的两个大城市。"print(simple_summary(text))解析：-基于句子分割，忽略上下文连贯性（实际需RNN/Transformer）