在管理研究中使用大型语言模型（LLMs）对数据进行标注：基本准则与注意事项

《STRATEGIC MANAGEMENT JOURNAL》：The use of LLMs to annotate data in management research: Foundational guidelines and warnings

本研究提出管理研究中LLMs实施的基础框架，涵盖方法选择、模型配置、提示工程、成本优化及验证五个阶段。通过Kickstarter可持续性声明分类实证，发现LLMs在成本效益上具有优势，但模型与提示设计差异可能导致结果显著偏移。建议结合系统敏感性测试与人类验证，平衡效率与可靠性。

　　在当今人工智能技术迅猛发展的背景下，大型语言模型（LLMs）正逐渐成为研究领域中一个不可忽视的工具。这些模型以其强大的语言理解和生成能力，为数据标注和文本分类等任务提供了新的可能性。尽管LLMs在技术层面表现出色，能够以较低的成本和时间完成传统方法难以实现的复杂任务，但其在研究中的应用仍面临诸多挑战，尤其是在研究结果的可靠性和可重复性方面。因此，本文旨在为管理研究中LLMs的实施提供一个基础框架，帮助研究者系统地评估和优化关键决策，从而确保研究方法的严谨性和研究结论的稳健性。

### 研究背景与重要性

随着LLMs在各类应用场景中的广泛应用，其在社会科学研究中的潜力也日益显现。特别是在数据标注任务中，LLMs能够将非结构化的文本转化为可用于后续分析的结构化变量，这种能力对于提升研究效率和扩展研究范围具有重要意义。传统的数据标注方法通常依赖于人工编码或基于关键词的自动化手段，而这些方法在面对大规模数据时往往面临成本高、效率低和难以扩展的局限。相比之下，LLMs的引入为研究者提供了更灵活、更快速的解决方案。然而，这一技术的迅速发展也带来了新的问题：如何在使用LLMs进行研究时，确保其输出的可靠性和可重复性？如何在实际操作中有效控制和评估模型的性能？

### 研究方法与核心框架

本文提出了一套适用于管理研究的LLMs实施基础框架，将整个研究过程分解为五个关键阶段：方法选择与整合、模型选择与稳定性、提示工程、成本与规模考量、以及验证与稳健性评估。每个阶段都涉及一系列核心决策，这些决策不仅影响模型的性能，也决定了最终研究结论的可信度。

在方法选择阶段，研究者需要评估是否使用LLMs作为数据标注工具。虽然LLMs在某些任务中表现出色，但其性能并不适用于所有情况。例如，对于需要高度精确的技术术语或特定领域知识的任务，传统的基于词典或关键词的方法可能更为合适。此外，研究者还应考虑是否需要结合其他方法，如人类编码，以确保标注结果的准确性和一致性。

在模型选择阶段，研究者需要权衡模型的性能与稳定性。较新的模型通常具备更高的准确性，但可能缺乏足够的测试和文档支持，这会增加研究的不确定性。而较旧的模型虽然性能可能稍逊，但其稳定性和可重复性往往更优。此外，开放源代码模型和封闭模型之间也存在取舍，前者可能在访问和使用上更加灵活，但其API的稳定性可能不如后者。因此，研究者应优先考虑模型的可复制性和文档完整性，而非单纯追求最新的技术性能。

提示工程是LLMs实施过程中最为关键的一环。研究者需要设计合理的提示指令，以引导模型生成符合研究需求的输出。不同的提示策略可能会影响模型的性能和结果的稳定性。例如，零样本提示可能较为简单，但准确性较低；而基于角色的提示则可以提升模型对特定领域知识的理解，但可能引入偏见。因此，研究者应系统地设计提示，并充分记录其构建过程，以便于后续的验证和优化。

在成本与规模考量阶段，研究者需要根据项目需求合理分配计算资源。LLMs的运行成本通常与输入文本的长度和提示的复杂性相关，因此在大规模数据处理时，需对成本进行精确估算。此外，研究者还应考虑如何通过优化提示设计和模型选择，实现成本与研究效果之间的最佳平衡。

在验证与稳健性评估阶段，研究者应通过系统的方法评估模型输出的可靠性和稳定性。这包括对模型的多种配置进行测试，以及对研究结论进行敏感性分析。敏感性分析可以帮助研究者了解不同方法选择对研究结果的影响，并提供更全面的结论范围。此外，研究者还应考虑如何通过数据加密和本地部署等手段，确保敏感数据的安全性。

### 实证应用：识别Kickstarter项目中的可持续性声明

为了验证上述框架的实用性，本文以Kickstarter平台上的项目为研究对象，探讨如何利用LLMs对项目文本进行分类，以分析可持续性声明与项目成功率之间的关系。我们首先对LLMs与传统方法（如监督机器学习模型）进行了比较，发现LLMs在准确性和成本效益方面表现优异，尤其在处理大规模数据时具有显著优势。

在方法选择阶段，我们选择了基于LLMs的分类方法，因为其在处理复杂文本时展现出的能力。随后，我们对多个LLMs进行了系统评估，包括GPT-4、Claude 3 Opus、GPT-4o、Claude 3.5 Haiku以及GPT-4o-mini。这些模型在不同提示策略下的表现各异，有的模型在简单提示下表现优异，而有的模型则在复杂的提示策略下展现出更高的准确性。

在提示工程阶段，我们设计了多种提示策略，包括零样本提示、少量样本提示、基于角色的提示、链式思维提示、自我一致性提示、树状思维提示和反思搜索树提示。每种策略都有其独特的优缺点，研究者需根据具体任务选择合适的提示方式。例如，链式思维提示虽然能够提升模型的推理能力，但其计算成本较高；而基于角色的提示则有助于模型聚焦于特定领域的知识，但可能引入偏见。

在成本与规模考量阶段，我们对不同模型和提示策略的运行成本进行了详细分析。结果表明，虽然某些模型在准确性上表现优异，但其成本也相应较高。为了降低成本，我们选择了GPT-4o-mini作为主要模型，并结合树状思维提示策略，以在保持合理成本的同时，实现较高的分类准确率。

在验证与稳健性评估阶段，我们通过系统的方法对模型的输出进行了验证。我们发现，尽管某些模型在第一阶段的分类准确率较高，但在第二阶段的分析中，其对研究结论的影响可能并不一致。例如，某些模型在第一阶段表现出较高的准确性，但在第二阶段的回归分析中，其结果可能受到模型分类误差的影响。因此，我们建议研究者在进行分析时，应结合多种模型和提示策略，以确保研究结论的稳健性。

### 方法选择与实施的权衡

在实际研究中，方法选择往往涉及多种权衡。例如，使用LLMs进行数据标注可以显著降低研究成本，但其输出的可靠性仍需通过严格的验证和敏感性分析来确保。此外，研究者还需考虑如何平衡模型的性能与研究的可复制性。虽然最新的模型可能在某些任务中表现出色，但其可复制性可能不如较旧的模型，因此研究者应优先考虑模型的稳定性。

### 敏感性分析与稳健性评估

敏感性分析是确保研究结论稳健性的关键步骤。通过系统地测试不同模型和提示策略的组合，研究者可以了解哪些方法选择对研究结果影响较大，从而优化研究设计。例如，在本文中，我们发现，虽然某些模型在第一阶段的分类准确率较高，但在第二阶段的分析中，其结果可能受到分类误差的影响。因此，我们建议研究者在进行分析时，应结合多种方法，以确保研究结论的稳健性。

此外，敏感性分析还可以帮助研究者识别和控制研究过程中的潜在偏差。例如，某些模型可能在特定类型的文本上表现不佳，而这些偏差可能会影响最终的研究结论。因此，研究者应通过系统的敏感性测试，确保研究结论的可靠性。

### 实证结果与讨论

在实证分析中，我们发现，尽管LLMs在分类任务中表现出色，但其在第二阶段的分析中，对研究结论的影响可能并不一致。例如，某些模型在第一阶段的分类准确率较高，但在第二阶段的回归分析中，其结果可能受到分类误差的影响。因此，我们建议研究者在进行分析时，应结合多种模型和提示策略，以确保研究结论的稳健性。

此外，我们还发现，LLMs的使用可能带来新的挑战，特别是在研究的可复制性和透明度方面。由于LLMs的输出可能受到提示设计和模型选择的影响，研究者需确保所有关键决策都得到充分记录和说明，以便于后续的验证和复现。这不仅有助于提升研究的透明度，也能够促进研究方法的持续改进。

### 结论与未来研究方向

综上所述，LLMs在管理研究中的应用具有重要的潜力，但也伴随着诸多挑战。研究者在使用LLMs进行数据标注和文本分类时，需关注方法选择、模型配置、提示设计、成本控制以及结果验证等关键环节。通过系统地实施上述框架，研究者可以确保研究方法的严谨性和研究结论的稳健性。

未来的研究可以进一步探讨LLMs在更复杂任务中的应用，以及如何通过系统的方法优化其性能。此外，随着LLMs技术的不断发展，研究者还需关注如何建立和推广最佳实践和标准，以确保研究的透明度和可重复性。通过持续的方法学对话和创新，我们相信LLMs将在未来的管理研究中发挥更大的作用，为研究者提供更高效、更可靠的工具。